JP2019146245A - 動画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 - Google Patents

Abstract

【課題】所定のブロック単位に所定のダイレクトモードを選択して、符号量を削減することができるようにする。【解決手段】動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。【選択図】図５

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる動画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体に関するものである。

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。

国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、Ｂピクチャを符号化する際に、ダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。

このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。
ただし、ダイレクトモードの中で、変換係数を符号化しないモードをスキップモードと称する。以下、ダイレクトモードと記載するときは、スキップモードも含まれるものとする。

ここで、図１１は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１１において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。

例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。

図１２は空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１２において、ｃｕｒｒｅｎｔＭＢは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックＡの動きベクトルをＭＶａ、符号化対象のマクロブロックの上の符号化済マクロブロックＢの動きベクトルをＭＶｂ、符号化対象のマクロブロックの右上の符号化済マクロブロックＣの動きベクトルをＭＶｃとすると、下記の式（２）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のマクロブロックの動きベクトルＭＶを算出することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ） （２）
空間ダイレクトモードでは、前方及び後方のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。

なお、予測画像の生成に用いる参照画像は、参照に用いるベクトル毎に、参照画像リストして管理されており、２つのベクトルを用いる場合、各参照画像リストはリスト０、リスト１と称される。
参照画像リストに対して時間的に近いものから順番に格納され、通常はリスト０が前方向の参照画像を示し、リスト１が後方向の参照画像を示している。ただし、リスト１が前方向の参照画像を示し、リスト０は後方向の参照画像を示していてもよいし、リスト０とリスト１の双方が、前方向と後方向の参照画像を示していてもよい。また、並び順も時間的に近いものから並べる必要はない。
例えば、以下の非特許文献１には、参照画像リストがスライス毎に並び替えることが可能であることが記載されている。

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の画像符号化装置は以上のように構成されているので、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を参照すれば、スライス単位で、時間ダイレクトモードと空間ダイレクトモードを切り替えることができる。しかし、マクロブロック単位では、時間ダイレクトモードと空間ダイレクトモードを切り替えることができないため、或るスライスに属している或るマクロブロックに対する最適なダイレクトモードが例えば空間ダイレクトモードであっても、当該スライスに対応するダイレクトモードが時間ダイレクトモードに決められていれば、当該マクロブロックに対して時間ダイレクトモードを使用しなければならず、最適なダイレクトモードを選択することができない。このような場合、最適なダイレクトモードを選択することができないため、不必要な動きベクトルを符号化しなければならず、符号量が増加してしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、所定のブロック単位に最適な符号化モードを選択して、符号量を削減することができるような動画像符号化装置、動画像復号装置、動画像符号化データ及び当該動画像符号化データを記録した記録媒体を得ることを目的とする。

この発明に係る動画像復号装置は、最大ブロックサイズと階層数の上限値により入力画像を階層的に分割することで得られる符号化ブロックに係わる圧縮データ、符号化ブロックに係わる符号化モード及び動きベクトルを指定するための符号化ブロックに係わるインデックス情報、および当該インデックス情報に基づき選択される動きベクトル候補の数を変更するための制御情報が含まれるビットストリームに多重化されている符号化データに可変長復号処理を行う可変長復号部と、インデックス情報に基づいて、１以上の動きベクトル候補の中から動きベクトルを選択し、選択された動きベクトルを用いて符号化ブロックに対し、動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、を備え、動き補償予測部は、インデックス情報に基づいて、符号化ブロックの周囲に位置する複数の復号済みブロックの動きベクトル候補から得られる空間動きベクトル、または符号化ブロックが参照可能な復号済みピクチャの動きベクトルから得られる時間動きベクトルを選択し、動き補償予測部は、制御情報に基づいて、符号化ブロックの周囲に位置する複数の復号済みブロックから得られる空間動きベクトル、および符号化ブロックが参照可能な復号化済みピクチャの動きベクトルから得られる時間動きベクトルの少なくともいずれかを含む動きベクトル候補のリストを用意し、動きベクトル候補は所定の順番でリスト化され、動きベクトル候補の数はスライス単位で変更可能であることを特徴とするものである。

この発明によれば、最大ブロックサイズと階層数の上限値により入力画像を階層的に分割することで得られる符号化ブロックに係わる圧縮データ、符号化ブロックに係わる符号化モード及び動きベクトルを指定するための符号化ブロックに係わるインデックス情報、および当該インデックス情報に基づき選択される動きベクトル候補の数を変更するための制御情報が含まれるビットストリームに多重化されている符号化データに可変長復号処理を行う可変長復号部と、インデックス情報に基づいて、１以上の動きベクトル候補の中から動きベクトルを選択し、選択された動きベクトルを用いて符号化ブロックに対し、動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、を備え、動き補償予測部は、インデックス情報に基づいて、符号化ブロックの周囲に位置する複数の復号済みブロックの動きベクトル候補から得られる空間動きベクトル、または符号化ブロックが参照可能な復号済みピクチャの動きベクトルから得られる時間動きベクトルを選択し、動き補償予測部は、制御情報に基づいて、符号化ブロックの周囲に位置する複数の復号済みブロックから得られる空間動きベクトル、および符号化ブロックが参照可能な復号化済みピクチャの動きベクトルから得られる時間動きベクトルの少なくともいずれかを含む動きベクトル候補のリストを用意し、動きベクトル候補は所定の順番でリスト化され、動きベクトル候補の数はスライス単位で変更可能であるので、符号化ブロック単位に最適な符号化モードを選択して動画像の復号化処理を行うことが可能となる。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の動き補償予測部５を示す構成図である。 動き補償予測部５を構成しているダイレクトベクトル生成部２３を示す構成図である。 ダイレクトベクトル生成部２３を構成しているダイレクトベクトル判定部３３を示す構成図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の動き補償予測部５４を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示す説明図である。 時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。 空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。 メディアン予測の候補Ａ１−Ａｎ、Ｂ１−Ｂｎ、Ｃ，Ｄ，Ｅから空間ダイレクトベクトルを生成する方法を示す模式図である。 時間方向の距離に応じてスケーリングを行うことで、空間ダイレクトベクトルを生成する方法を示す模式図である。 前方予測画像と後方予測画像の類似度による評価値の算出例を示す説明図である。 動きベクトルの分散値を用いた評価式を示す説明図である。 空間ベクトルＭＶ＿Ａ，ＭＶ＿Ｂ，ＭＶ＿Ｃや、時間ベクトルＭＶ＿１〜ＭＶ＿８を示す説明図である。 複数の符号化済ベクトルから１つの候補ベクトルの生成を示す説明図である。 時間的に前にある画像のみを組み合わせて、評価値ＳＡＤを算出する例を示す説明図である。 Ｌ字テンプレートに似ている画像の探索を示す説明図である。 符号化ブロックＢ^ｎのサイズがＬ^ｎ＝ｋＭ^ｎである例を示す説明図である。 （Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）のように分割する例を示す説明図である。 図２１又は図２２のいずれかの分割を選択できる例を示す説明図である。 変換ブロックサイズ単位が階層構造になっている例を示す説明図である。 この発明の実施の形態３による動画像符号化装置の動き補償予測部５を示す構成図である。 動き補償予測部５を構成しているダイレクトベクトル生成部２５を示す構成図である。 ダイレクトベクトル生成部２５を構成している初期ベクトル生成部３４を示す構成図である。 初期ベクトル生成部３４を構成している初期ベクトル判定部７３を示す構成図である。 この発明の実施の形態３による動画像復号装置の動き補償予測部５４を示す構成図である。 動きベクトルの探索処理を示す説明図である。 この発明の実施の形態４による動画像符号化装置の動き補償予測部５を示す構成図である。 この発明の実施の形態４による動画像復号装置の動き補償予測部５４を示す構成図である。 選択可能な動きベクトルと、その動きベクトルを示すインデックス情報とが記述されているダイレクトベクトル候補インデックスを示す説明図である。 １本のベクトルのインデックス情報だけを符号化する例を示す説明図である。 動き補償予測部５を構成しているダイレクトベクトル生成部２６を示す構成図である。 この発明の実施の形態５による動画像符号化装置の動き補償予測部５を示す構成図である。 動き補償予測部５を構成しているダイレクトベクトル生成部２７を示す構成図である。 この発明の実施の形態５による動画像復号装置の動き補償予測部５４を示す構成図である。 動き補償予測部５を構成しているダイレクトベクトル生成部２６を示す構成図である。 周囲のブロックとの相関関係を示す説明図である。 符号化ブロックのブロックサイズ毎に、選択可能な１以上の動きベクトルを示すリストの説明図である。 最大のブロックサイズが「１２８」であるリストの一例を示す説明図である。 符号化ブロックの分割パターン毎に、選択可能な１以上の動きベクトルを示すリストの説明図である。 動画像符号化装置におけるリスト情報の送信処理を示すフローチャートである。 動画像復号装置におけるリスト情報の受信処理を示すフローチャートである。 リスト内の「ｔｅｍｐｏｒａｌ」が選択可から選択不可に変更されているために、“オン”の変更フラグと変更後のリストを示すリスト情報を符号化している例を示す説明図である。 変更フラグが“オン”であるため、現在保持しているリストを変更している例を示す説明図である。 ブロックサイズ毎に変更フラグを用意し、選択可能な動きベクトルが変更されたブロックサイズに係るリスト情報だけを符号化している例を示す説明図である。 対象となるブロックからインター符号化されているブロックを探索し、そのブロック内に含まれる全てのベクトルを空間ベクトル候補とする例を示す説明図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。

この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。

この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード（ダイレクトモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化制御手段を構成している。

ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。

切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ３及びイントラ予測部４からイントラ予測手段が構成されている。

動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりダイレクトモードのインター符号化モードが選択された場合、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
また、動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりダイレクトモード以外のインター符号化モードが選択された場合、当該符号化ブロックと動き補償予測フレームメモリ１２に格納されている参照画像から動きベクトルを探索し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ３及び動き補償予測部５から動き補償予測手段が構成されている。

減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。

加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部１１は加算器９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。

図２はこの発明の実施の形態１による動画像符号化装置の動き補償予測部５を示す構成図である。
図２において、切替スイッチ２１は符号化制御部１により選択された符号化モードがダイレクトモード以外のインターモードである場合、ブロック分割部２により分割された符号化ブロックを動きベクトル探索部２２に出力する一方、その符号化モードがダイレクトモードのインターモードである場合、ブロック分割部２により分割された符号化ブロックをダイレクトベクトル生成部２３に出力する処理を実施する。
なお、ダイレクトベクトル生成部２３では、ダイレクトベクトルを生成する際に、ブロック分割部２により分割された符号化ブロックを用いないので、その符号化ブロックをダイレクトベクトル生成部２３に出力しないようにしてもよい。

動きベクトル探索部２２は切替スイッチ２１から出力された符号化ブロックと動き補償予測フレームメモリ１２に格納されている参照画像を参照しながら、インターモードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部２４に出力する処理を実施する。
ダイレクトベクトル生成部２３は当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択する処理を実施する。

動き補償処理部２４は動きベクトル探索部２２により探索された動きベクトル又はダイレクトベクトル生成部２３により選択されたダイレクトベクトルと動き補償予測フレームメモリ１２に格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する処理を実施する。
なお、動き補償処理部２４は、動き補償予測処理を実施する際に用いたインター予測パラメータを可変長符号化部１３に出力する。符号化制御部１により選択された符号化モードがダイレクトモード以外のインターモードである場合、動きベクトル探索部２２により探索された動きベクトルを当該インター予測パラメータに含めて可変長符号化部１３に出力する。

図３は動き補償予測部５を構成しているダイレクトベクトル生成部２３を示す構成図である。
図３において、空間ダイレクトベクトル生成部３１は符号化済みのブロックの動きベクトル（符号化済みのブロックの動きベクトルは、図示せぬ動きベクトルメモリ、あるいは、動き補償予測部５の内部メモリに格納されている）の中から、符号化ブロックの周囲に位置している符号化済みのブロックの動きベクトルを読み出し、その動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成する処理を実施する。
時間ダイレクトベクトル生成部３２は符号化済みのブロックの動きベクトルの中から、符号化ブロックが参照可能な符号化済みピクチャの動きベクトルであって、符号化ブロックと空間的に同じ位置にあるブロックの動きベクトルを読み出し、その動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する処理を実施する。

ダイレクトベクトル判定部３３は空間ダイレクトベクトル生成部３１により生成された空間ダイレクトベクトルを用いて、空間ダイレクトモードの評価値を算出するとともに、時間ダイレクトベクトル生成部３２により生成された時間ダイレクトベクトルを用いて、時間ダイレクトモードの評価値を算出し、その空間ダイレクトモードの評価値と時間ダイレクトモードの評価値を比較して、その空間ダイレクトベクトル又は時間ダイレクトベクトルのいずれか一方を選択する処理を実施する。

図４はダイレクトベクトル生成部２３を構成しているダイレクトベクトル判定部３３を示す構成図である。
図４において、動き補償部４１は空間ダイレクトベクトル生成部３１により生成された空間ダイレクトベクトルを用いて、空間ダイレクトモードのリスト０予測画像（例えば、空間ダイレクトモードの前方予測画像）と空間ダイレクトモードのリスト１予測画像（例えば、空間ダイレクトモードの後方予測画像）を生成するとともに、時間ダイレクトベクトル生成部３２により生成された時間ダイレクトベクトルを用いて、時間ダイレクトモードのリスト０予測画像（例えば、時間ダイレクトモードの前方予測画像）と時間ダイレクトモードのリスト１予測画像（例えば、時間ダイレクトモードの後方予測画像）を生成する処理を実施する。

類似度算出部４２は空間ダイレクトモードの評価値として、空間ダイレクトモードのリスト０予測画像（前方予測画像）とリスト１予測画像（後方予測画像）の類似度を算出するとともに、時間ダイレクトモードの評価値として、時間ダイレクトモードのリスト０予測画像（前方予測画像）とリスト１予測画像（後方予測画像）の類似度を算出する処理を実施する。
ダイレクトベクトル選択部４３は類似度算出部４２により算出された空間ダイレクトモードにおけるリスト０予測画像（前方予測画像）とリスト１予測画像（後方予測画像）の類似度と、時間ダイレクトモードにおけるリスト０予測画像（前方予測画像）とリスト１予測画像（後方予測画像）の類似度とを比較し、空間ダイレクトベクトル又は時間ダイレクトベクトルのうち、リスト０予測画像（前方予測画像）とリスト１予測画像（後方予測画像）の類似度が高い方のダイレクトモードのダイレクトベクトルを選択する処理を実施する。

図５はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図５において、可変長復号部５１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。なお、可変長復号部５１は可変長復号手段を構成している。

切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。
イントラ予測部５３は切替スイッチ５２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ５２及びイントラ予測部５３からイントラ予測手段が構成されている。

動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
また、動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモード以外のインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータに含まれている動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
なお、切替スイッチ５２及び動き補償予測部５４から動き補償予測手段が構成されている。

逆量子化・逆変換部５５は可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部５５は差分画像生成手段を構成している。

加算部５６は逆量子化・逆変換部５５から出力された復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部５６は復号画像生成手段を構成している。
イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部５８は加算器５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。
動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。

図６はこの発明の実施の形態１による動画像復号装置の動き補償予測部５４を示す構成図である。
図６において、切替スイッチ６１は可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモード以外のインターモードである場合、可変長復号部５１から出力されたインター予測パラメータ（動きベクトルを含む）を動き補償処理部６３に出力し、その符号化モードがダイレクトモードのインターモードである場合、可変長復号部５１から出力されたインター予測パラメータをダイレクトベクトル生成部６２に出力する処理を実施する。

ダイレクトベクトル生成部６２は当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択する処理を実施する。
また、ダイレクトベクトル生成部６２は切替スイッチ６１から出力されたインター予測パラメータを動き補償処理部６３に出力する処理を実施する。
なお、ダイレクトベクトル生成部６２の内部構成は、図２のダイレクトベクトル生成部２３と同じである。

動き補償処理部６３は切替スイッチ６１から出力されたインター予測パラメータに含まれている動きベクトル又はダイレクトベクトル生成部６２により選択されたダイレクトベクトルと動き補償予測フレームメモリ５９に格納されている１フレームの参照画像を用いて、ダイレクトベクトル生成部６２から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する処理を実施する。

図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図７はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。

図５では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。

次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図７のステップＳＴ１）。

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード（ダイレクトモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図９は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図９の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ^０であり、輝度成分で（Ｌ^０，Ｍ^０）のサイズを有している。
また、図９の例では、最大サイズの符号化ブロックＢ^０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢ^ｎを得ている。

深さｎにおいては、符号化ブロックＢ^ｎはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは同じであってもよいし異なっていてもよいが、図９の例ではＬ^ｎ＝Ｍ^ｎのケースを示している。
以降、符号化ブロックＢ^ｎのサイズは、符号化ブロックＢ^ｎの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。

ブロック分割部２は、４分木分割を行うため、常に（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）である。
以降、第ｎ階層の符号化ブロックＢ^ｎで選択しうる符号化モードをｍ（Ｂ^ｎ）と記する。

複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢ^ｎに対して最も符号化効率がよい符号化モードを選択する。

符号化ブロックＢ^ｎは、図９に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割がどのようになされているかは符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、パーティションＰ_ｉ ^ｎ毎に、個別の予測パラメータを選択することができる。

符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１０に示すようなブロック分割状態を生成して、符号化ブロックＢ^ｎを特定する。
図１０（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図１０（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示している。
図１０（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロックＢ^ｎ）を示している。

切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対して最適な符号化モードｍ（Ｂ^ｎ）を選択すると、その符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、切替スイッチ３から符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを受けると、符号化制御部１により選択された符号化モードｍ（Ｂ^ｎ）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ４）。
イントラ予測部４は、イントラ予測画像Ｐ_ｉ ^ｎを生成すると、そのイントラ予測画像Ｐ_ｉ ^ｎを減算部６及び加算部９に出力するが、図５の動画像復号装置でも同じイントラ予測画像Ｐ_ｉ ^ｎを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。この実施の形態１におけるイントラ予測処理は、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。

動き補償予測部５は、切替スイッチ３から符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを受けると、符号化制御部１により選択された符号化モードｍ（Ｂ^ｎ）がダイレクトモードのインター符号化モードであれば、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、符号化ブロックＢ^ｎが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する。
そして、動き補償予測部５は、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトル及び符号化モードｍ（Ｂ^ｎ）に対応するインター予測パラメータを用いて、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施して、インター予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ５）。

一方、符号化制御部１により選択された符号化モードｍ（Ｂ^ｎ）がダイレクトモード以外のインター符号化モードであれば、動き補償予測部５は、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されている参照画像から動きベクトルを探索し、その動きベクトル及び符号化モードｍ（Ｂ^ｎ）に対応するインター予測パラメータを用いて、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施して、インター予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ５）。
動き補償予測部５は、インター予測画像Ｐ_ｉ ^ｎを生成すると、そのインター予測画像Ｐ_ｉ ^ｎを減算部６及び加算部９に出力するが、図５の動画像復号装置でも同じインター予測画像Ｐ_ｉ ^ｎを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。インター予測画像の生成に用いられたインター予測パラメータには、
・ 符号化ブロックＢ^ｎ内のパーティション分割を記述するモード情報
・ 各パーティションの動きベクトル
・ 動き補償予測フレームメモリ１２内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報
・ 複数の動きベクトル予測値候補がある場合にいずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
・ 複数の動き補償内挿フィルタがある場合にいずれのフィルタを選択して使用するかを示すインデックス情報
・ 当該パーティションの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など)を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
などの情報を含み、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部１３によってビットストリームに多重化される。
動き補償予測部５の処理内容の概略は上記の通りであるが、詳細な処理内容は後述する。

減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐ_ｉ ^ｎ、インター予測画像Ｐ_ｉ ^ｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_ｉ ^ｎ、インター予測画像Ｐ_ｉ ^ｎ）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号ｅ_ｉ ^ｎハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号ｅ_ｉ ^ｎハットを受けると、その局所復号予測差分信号ｅ_ｉ ^ｎハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_ｉ ^ｎ、インター予測画像Ｐ_ｉ ^ｎ）を示す予測信号を加算することで、局所復号パーティション画像Ｐ_ｉ ^ｎハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータをエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。

ループフィルタ部１１は、加算器９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１ によるフィルタリング処理は、加算器９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。

次に、動き補償予測部５の処理内容を詳細に説明する。
動き補償予測部５の切替スイッチ２１は、符号化制御部１により選択された符号化モードｍ（Ｂ^ｎ）がダイレクトモード以外のインターモードである場合、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを動きベクトル探索部２２に出力する。
一方、符号化モードｍ（Ｂ^ｎ）がダイレクトモードのインターモードである場合、ブロック分割部２により分割された符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎをダイレクトベクトル生成部２３に出力する。
ただし、ダイレクトベクトル生成部２３では、ダイレクトベクトルの生成に符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを用いないので、当該符号化モードｍ（Ｂ^ｎ）がダイレクトモードのインターモードであっても、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎをダイレクトベクトル生成部２３に出力しないようにしてもよい。

動き補償予測部５の動きベクトル探索部２２は、切替スイッチ２１から符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを受けると、そのパーティションＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されている参照画像を参照しながら、インターモードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部２４に出力する。
インターモードで最適な動きベクトルを探索する処理自体は公知の技術であるため詳細な説明を省略する。

動き補償予測部５のダイレクトベクトル生成部２３は、符号化モードｍ（Ｂ^ｎ）がダイレクトモードである場合、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎ毎に、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルのいずれか一方を動きベクトルとして動き補償処理部２４に出力する。
なお、符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割状態を示す情報は、上述したように、符号化モードｍ（Ｂ^ｎ）の中に含まれているので、ダイレクトベクトル生成部２３は、符号化モードｍ（Ｂ^ｎ）を参照することで、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを特定することができる。

即ち、ダイレクトベクトル生成部２３の空間ダイレクトベクトル生成部３１は、図示せぬ動きベクトルメモリ又は内部メモリにより格納されている符号化済みブロックの動きベクトルの中から、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎの周囲に位置している符号化済みブロックの動きベクトルを読み出し、その動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成する。
また、ダイレクトベクトル生成部２３の時間ダイレクトベクトル生成部３２は、符号化済みブロックの動きベクトルの中から、符号化ブロックＢ^ｎが参照可能な符号化済みピクチャの動きベクトルであって、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎと空間的に同じ位置にあるブロックの動きベクトルを読み出し、その動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成する。

ここで、図１１は時間ダイレクトモードで動きベクトル（時間ダイレクトベクトル）を生成する方法を示す模式図である。
例えば、ピクチャＢ２の中のブロックＭＢ１が符号化対象のパーティションＰ_ｉ ^ｎであり、ブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、ブロックＭＢ１と空間的に同じ位置にあるブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、ブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（３）で求められる。

時間ダイレクトベクトル生成部３２は、動きベクトルＭＶＬ０，ＭＶＬ１を算出すると、その動きベクトルＭＶＬ０，ＭＶＬ１を時間ダイレクトモードの時間ダイレクトベクトルとしてダイレクトベクトル判定部３３に出力する。
ただし、時間ダイレクトベクトル生成部３２における時間ダイレクトベクトルの生成方法は、図１１に示すようなＨ．２６４方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。

図１２は空間ダイレクトモードで動きベクトル（空間ダイレクトベクトル）を生成する方法を示す模式図である。
図１２において、ｃｕｒｒｅｎｔＭＢは、符号化対象のブロックであるパーティションＰ_ｉ ^ｎを表している。
このとき、符号化対象のブロックの左横の符号化済ブロックＡの動きベクトルをＭＶａ、符号化対象のブロックの上の符号化済ブロックＢの動きベクトルをＭＶｂ、符号化対象のブロックの右上の符号化済ブロックＣの動きベクトルをＭＶｃとすると、下記の式（４）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のブロックの動きベクトルＭＶを算出することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ） （４）

空間ダイレクトモードでは、リスト０及びリスト１のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。
空間ダイレクトベクトル生成部３１は、上記のようにして、リスト０及びリスト１の動きベクトルＭＶを算出すると、リスト０及びリスト１の動きベクトルＭＶを空間ダイレクトモードの空間ダイレクトベクトルとしてダイレクトベクトル判定部３３に出力する。
ただし、空間ダイレクトベクトル生成部３１における空間ダイレクトベクトルの生成方法は、図１２に示すようなＨ．２６４方式を用いてもよいが、これに限るものではなく、他の方法を用いてもよい。

例えば、図１３に示すように、メディアン予測の候補として、Ａ１−Ａｎ、Ｂ１−Ｂｎから１つずつと、Ｃ，Ｄ，Ｅから１つの３つで、空間ダイレクトベクトルを生成するようにしてもよい。
また、空間ダイレクトベクトルの生成に用いるＭＶ候補が違うｒｅｆ＿Ｉｄｘの場合は、図１４に示すように、時間方向の距離に応じてスケーリングを行うようにしてもよい。

ただし、ｓｃａｌｅｄ＿ＭＶはスケーリング後のベクトル、ＭＶはスケーリング前の動きベクトル、ｄ（ｘ）はｘまでの時間的な距離を示している。
また、Ｘｒは符号化対象のブロックが示す参照画像、Ｙｒはスケーリングの対象となるブロック位置Ａ−Ｄが示す参照画像を示している。

ダイレクトベクトル生成部２３のダイレクトベクトル判定部３３は、空間ダイレクトベクトル生成部３１が空間ダイレクトベクトルを生成すると、その空間ダイレクトベクトルを用いて、空間ダイレクトモードの評価値を算出する。
また、ダイレクトベクトル判定部３３は、時間ダイレクトベクトル生成部３２が時間ダイレクトベクトルを生成すると、その時間ダイレクトベクトルを用いて、時間ダイレクトモードの評価値を算出する。
ダイレクトベクトル判定部３３は、その空間ダイレクトモードの評価値と時間ダイレクトモードの評価値を比較し、その空間ダイレクトベクトル又は時間ダイレクトベクトルのうち、以下に記載するような判定手段によってダイレクトモードのダイレクトベクトルを選択して動き補償処理部２４に出力する。

以下、ダイレクトベクトル判定部３３の処理内容を具体的に説明する。
ダイレクトベクトル判定部３３の動き補償部４１は、空間ダイレクトベクトル生成部３１が空間ダイレクトベクトルＭＶＬ０，ＭＶＬ１を生成すると、その空間ダイレクトベクトルＭＶＬ０を用いて、空間ダイレクトモードのリスト０予測画像を生成し、その空間ダイレクトベクトルＭＶＬ１を用いて、空間ダイレクトモードのリスト１予測画像を生成する。
ここで、図１５は前方予測画像と後方予測画像の類似度による評価値の算出例を示す説明図であるが、図１５の例では、空間ダイレクトモードのリスト０予測画像として、前方予測画像ｆ_{ｓｐａｔｉａｌ}を生成し、空間ダイレクトモードのリスト１予測画像として、後方予測画像ｇ_{ｓｐａｔｉａｌ}を生成している。

また、動き補償部４１は、時間ダイレクトベクトル生成部３２がリスト０及びリスト１の動きベクトルＭＶである時間ダイレクトベクトルを生成すると、前方の動きベクトルＭＶである時間ダイレクトベクトルを用いて、時間ダイレクトモードのリスト０予測画像を生成し、後方の動きベクトルＭＶである時間ダイレクトベクトルを用いて、時間ダイレクトモードの時間ダイレクトモードのリスト１予測画像を生成する。
図１５の例では、時間ダイレクトモードのリスト０予測画像として、時間ダイレクトモードの前方予測画像ｆ_{ｔｅｍｐｏｒａｌ}を生成し、時間ダイレクトモードのリスト１予測画像として、後方予測画像ｇ_{ｔｅｍｐｏｒａｌ}を生成している。

ここでは、前方向の参照画像を示す参照画像リスト０と、後方向の参照画像を示す参照画像リスト１を用いて、リスト０予測画像として前方予測画像を生成し、リスト１予測画像として後方予測画像を生成するものについて示したが、後方向の参照画像を示す参照画像リスト０と、前方向の参照画像を示す参照画像リスト１を用いて、リスト０予測画像として後方予測画像を生成し、リスト１予測画像として前方予測画像を生成するようにしてもよい。
また、前方向の参照画像を示す参照画像リスト０と、更に前方向の参照画像を示す参照画像リスト１を用いて、リスト０予測画像及びリスト１予測画像として、前方予測画像を生成するようにしてもよい（詳細は後述する）。

ダイレクトベクトル判定部３３の類似度算出部４２は、空間ダイレクトモードのリスト０予測画像とリスト１予測画像を生成すると、下記の式（６）のように、空間ダイレクトモードの評価値ＳＡＤ_{ｓｐａｔｉａｌ}を算出する。
式（６）では、説明の便宜上、空間ダイレクトモードのリスト０予測画像が前方予測画像ｆ_{ｓｐａｔｉａｌ}、空間ダイレクトモードのリスト１予測画像が後方予測画像ｇ_{ｓｐａｔｉａｌ}としている。
ＳＡＤ_{ｓｐａｔｉａｌ}＝｜ｆ_{ｓｐａｔｉａｌ}−ｇ_{ｓｐａｔｉａｌ}｜ （６）

また、類似度算出部４２は、時間ダイレクトモードのリスト０予測画像とリスト１予測画像を生成すると、下記の式（７）のように、時間ダイレクトモードの評価値ＳＡＤ_{ｔｅｍｐｏｒａｌ}を算出する。
式（７）では、説明の便宜上、時間ダイレクトモードのリスト０予測画像が前方予測画像ｆ_{ｔｅｍｐｏｒａｌ}、時間ダイレクトモードのリスト１予測画像が後方予測画像ｇ_{ｔｅｍｐｏｒａｌ}としている。
ＳＡＤ_{ｔｅｍｐｏｒａｌ}＝｜ｆ_{ｔｅｍｐｏｒａｌ}−ｇ_{ｔｅｍｐｏｒａｌ}｜（７）

なお、前方予測画像と後方予測画像間の差分が大きい程、２つの画像間の類似度が低くなり（２つの画像の差分絶対値和を示す評価値ＳＡＤが大きくなる）、時間的な相関が低くなる。逆に、前方予測画像と後方予測画像間の差分が小さい程、２つの画像間の類似度が高くなり（２つの画像の差分絶対値和を示す評価値ＳＡＤが小さくなる）、時間的な相関が高くなる。
また、ダイレクトベクトルで予測する画像は、符号化対象のブロックに似ている画像を予測するはずである。２つのベクトルを用いて予測画像を生成する場合、それぞれのベクトルが予測する画像は符号化対象のブロックに似ているはずであり、これは２つの参照画像の相関が高いことを示している。
したがって、評価値ＳＡＤが小さい方のダイレクトベクトルを選択することで、参照画像間の相関が高いモードを選ぶことができ、ダイレクトモードの精度を高めることができる。

ダイレクトベクトル判定部３３のダイレクトベクトル選択部４３は、類似度算出部４２が空間ダイレクトモードの評価値ＳＡＤ_{ｓｐａｔｉａｌ}と、時間ダイレクトモードの評価値ＳＡＤ_{ｔｅｍｐｏｒａｌ}とを算出すると、その評価値ＳＡＤ_{ｓｐａｔｉａｌ}と評価値ＳＡＤ_{ｔｅｍｐｏｒａｌ}を比較することで、空間ダイレクトモードにおける前方予測画像ｆ_{ｓｐａｔｉａｌ}と後方予測画像ｇ_{ｓｐａｔｉａｌ}の類似度と、時間ダイレクトモードにおける前方予測画像ｆ_{ｔｅｍｐｏｒａｌ}と後方予測画像ｇ_{ｔｅｍｐｏｒａｌ}の類似度とを比較する。

ダイレクトベクトル選択部４３は、空間ダイレクトモードにおける前方予測画像ｆ_{ｓｐａｔｉａｌ}と後方予測画像ｇ_{ｓｐａｔｉａｌ}の類似度が、時間ダイレクトモードにおける前方予測画像ｆ_{ｔｅｍｐｏｒａｌ}と後方予測画像ｇ_{ｔｅｍｐｏｒａｌ}の類似度より高い場合（ＳＡＤ_{ｓｐａｔｉａｌ}≦ＳＡＤ_{ｔｅｍｐｏｒａｌ}）、空間ダイレクトベクトル生成部３１により生成された空間ダイレクトベクトルを選択し、その空間ダイレクトベクトルを動きベクトルとして動き補償処理部２４に出力する。
一方、時間ダイレクトモードにおける前方予測画像ｆ_{ｔｅｍｐｏｒａｌ}と後方予測画像ｇ_{ｔｅｍｐｏｒａｌ}の類似度が、空間ダイレクトモードにおける前方予測画像ｆ_{ｓｐａｔｉａｌ}と後方予測画像ｇ_{ｓｐａｔｉａｌ}の類似度より高い場合（ＳＡＤ_{ｓｐａｔｉａｌ}＞ＳＡＤ_{ｔｅｍｐｏｒａｌ}）、時間ダイレクトベクトル生成部３２により生成された時間ダイレクトベクトルを選択し、その時間ダイレクトベクトルを動きベクトルとして動き補償処理部２４に出力する。

動き補償処理部２４は、符号化モードｍ（Ｂ^ｎ）がダイレクトモードでないとき、動きベクトル探索部２２から動きベクトルを受けると、その動きベクトルと動き補償予測フレームメモリ１２に格納されている１フレームの参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する。
一方、符号化モードｍ（Ｂ^ｎ）がダイレクトモードであるとき、ダイレクトベクトル生成部２３から動きベクトル（ダイレクトベクトル選択部４３により選択されたダイレクトベクトル）を受けると、その動きベクトルと動き補償予測フレームメモリ１２に格納されている１フレームの参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて動き補償予測処理を実施することで、予測画像を生成する。
なお、動き補償処理部２４の動き補償予測処理は公知の技術であるため詳細な説明を省略する。

ここでは、類似度算出部４２が差分絶対値和である評価値ＳＡＤを算出し、ダイレクトベクトル選択部４３が評価値ＳＡＤを比較するものについて示したが、類似度算出部４２が評価値として、前方予測画像と後方予測画像間の差分二乗和ＳＳＥを算出し、ダイレクトベクトル選択部４３が差分二乗和ＳＳＥを比較するようにしてもよい。ＳＳＥを用いることにより処理量は増えるが、より正確に類似度を算出することが可能となる。

次に、図５の画像復号装置の処理内容を説明する。
可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する（図８のステップＳＴ２１）。
可変長復号部５１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。

ビットストリームに多重化されている最大サイズの符号化ブロックＢ^０の符号化モードｍ（Ｂ^０）には、最大サイズの符号化ブロックＢ^０の分割状態を示す情報が含まれているので、可変長復号部５１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ^０の符号化モードｍ（Ｂ^０）を復号して、階層的に分割されている各々の符号化ブロックＢ^ｎを特定する（ステップＳＴ２３）。
可変長復号部５１は、各々の符号化ブロックＢ^ｎを特定すると、その符号化ブロックＢ^ｎの符号化モードｍ（Ｂ^ｎ）を復号し、その符号化モードｍ（Ｂ^ｎ）に属しているパーティションＰ_ｉ ^ｎの情報に基づいて、符号化ブロックＢ^ｎに属しているパーティションＰ_ｉ ^ｎを特定する。
可変長復号部５１は、符号化ブロックＢ^ｎに属しているパーティションＰ_ｉ ^ｎを特定すると、パーティションＰ_ｉ ^ｎ毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ２４）。

切替スイッチ５２は、可変長復号部５１から符号化ブロックＢ^ｎに属しているパーティションＰ_ｉ ^ｎの符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
一方、パーティションＰ_ｉ ^ｎの符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。
イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ２６）。

動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、可変長復号部５１から出力された符号化モードｍ（Ｂ^ｎ）がダイレクトモードのインター符号化モードであれば、図１の動き補償予測部５と同様に、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成する。
動き補償予測部５４は、空間ダイレクトモードの空間ダイレクトベクトルと時間ダイレクトモードの時間ダイレクトベクトルを生成すると、図１の動き補償予測部５と同様に、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトル及びインター予測パラメータを用いて、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施して、インター予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ２７）。

一方、可変長復号部５１から出力された符号化モードｍ（Ｂ^ｎ）がダイレクトモード以外のインター符号化モードであれば、動き補償予測部５４の動き補償処理部６３が、切替スイッチ５２から出力されたインター予測パラメータに含まれている動きベクトルを用いて、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施して、インター予測画像Ｐ_ｉ ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部５５は、可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ２８）。

加算部５６は、逆量子化・逆変換部５５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ２９）。

ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部５８は、加算器５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ３１）。
ループフィルタ部５８によるフィルタリング処理は、加算器５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。

以上で明らかなように、この実施の形態１によれば、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する符号化制御部１と、入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割部２とを設け、ブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりダイレクトモードのインター符号化モードが選択された場合、動き補償予測部５が、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するように構成したので、所定のブロック単位に最適なダイレクトモードを選択して、符号量を削減することができる効果を奏する。

また、この実施の形態１によれば、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号部５１を設け、可変長復号部５１により可変長復号された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、動き補償予測部５４が、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するように構成したので、所定のブロック単位に最適なダイレクトモードを選択することができるような符号化データを復号可能な動画像復号装置が得られる効果を奏する。

実施の形態２．
上記実施の形態１では、動き補償予測部５，５４（具体的には、類似度算出部４２）が、空間ダイレクトモードの評価値ＳＡＤ_{ｓｐａｔｉａｌ}として、空間ダイレクトモードの前方予測画像ｆ_{ｓｐａｔｉａｌ}と後方予測画像ｇ_{ｓｐａｔｉａｌ}の類似度を算出する一方、時間ダイレクトモードの評価値ＳＡＤ_{ｔｅｍｐｏｒａｌ}として、時間ダイレクトモードの前方予測画像ｆ_{ｔｅｍｐｏｒａｌ}と後方予測画像ｇ_{ｔｅｍｐｏｒａｌ}の類似度を算出するものについて示したが、空間ダイレクトモードの評価値として、符号化ブロックＢ^ｎの周囲に位置している符号化済みブロック（復号済みブロック）の動きベクトルの分散値σ（ｓｐａｔｉａｌ）を算出する一方、時間ダイレクトモードの評価値として、符号化ブロックＢ^ｎが参照可能な符号化済みピクチャ（復号済みピクチャ）において、符号化ブロックＢ^ｎと空間的に同じ位置にあるブロックの周囲に位置している符号化済みブロック（復号済みブロック）の動きベクトルの分散値σ（ｔｅｍｐｏｒａｌ）を算出するようにしてもよく、上記実施の形態１と同様の効果を奏することができる。

即ち、類似度算出部４２が、空間ダイレクトモードの評価値ＳＡＤ_{ｓｐａｔｉａｌ}として、空間ダイレクトモードの前方予測画像ｆ_{ｓｐａｔｉａｌ}と後方予測画像ｇ_{ｓｐａｔｉａｌ}の類似度を算出する代わりに、図１６（ａ）に示すように、符号化ブロックＢ^ｎの周囲に位置している符号化済みブロック（復号済みブロック）の動きベクトルの分散値σ（ｓｐａｔｉａｌ）を算出する（下記の式（８）を参照）。
また、類似度算出部４２が、時間ダイレクトモードの評価値ＳＡＤ_{ｔｅｍｐｏｒａｌ}として、時間ダイレクトモードの前方予測画像ｆ_{ｔｅｍｐｏｒａｌ}と後方予測画像ｇ_{ｔｅｍｐｏｒａｌ}の類似度を算出する代わりに、図１６（ｂ）に示すように、符号化ブロックＢ^ｎが参照可能な符号化済みピクチャ（復号済みピクチャ）において、符号化ブロックＢ^ｎと空間的に同じ位置にあるブロックの周囲に位置している符号化済みブロック（復号済みブロック）の動きベクトルの分散値σ（ｔｅｍｐｏｒａｌ）を算出する（下記の式（８）を参照）。

また、ｍはｓｐａｔｉａｌ又はｔｅｍｐｏｒａｌを示す記号である。

ダイレクトベクトル選択部４３は、動きベクトルの分散値σ（ｓｐａｔｉａｌ）と動きベクトルの分散値σ（ｔｅｍｐｏｒａｌ）とを比較し、動きベクトルの分散値σ（ｓｐａｔｉａｌ）が動きベクトルの分散値σ（ｔｅｍｐｏｒａｌ）より大きい場合、空間ダイレクトモードの動きベクトル（空間ダイレクトベクトル）の信頼性が低いと判断して、時間ダイレクトモードの動きベクトル（時間ダイレクトベクトル）を選択する。
一方、動きベクトルの分散値σ（ｔｅｍｐｏｒａｌ）が動きベクトルの分散値σ（ｓｐａｔｉａｌ）より大きい場合、時間ダイレクトモードの動きベクトル（時間ダイレクトベクトル）の信頼性が低いと判断して、空間ダイレクトモードの動きベクトル（空間ダイレクトベクトル）を選択する。

上記実施の形態１では、時間ダイレクトベクトルと空間ダイレクトベクトルを生成し、いずれか一方のダイレクトベクトルを選択するものについて示したが、その時間ダイレクトベクトルや空間ダイレクトベクトルの他に、他のベクトルを候補ベクトルとして加え、それらの候補ベクトルの中からダイレクトベクトルを選択するようにしてもよい。
例えば、図１７のような空間ベクトルＭＶ＿Ａ，ＭＶ＿Ｂ，ＭＶ＿Ｃや、時間ベクトルＭＶ＿１〜ＭＶ＿８を候補ベクトルに加えて、これらの空間ベクトルや時間ベクトルからダイレクトベクトルを選択するようにしてもよい。
また、図１８に示すように、複数の符号化済ベクトルから１つのベクトルを生成し、そのベクトルを候補ベクトルに加えるようにしてもよい。
このように、候補ベクトルを増やすことで処理量は増加するが、ダイレクトベクトルの確度が向上して、符号化効率を向上させることができる。

上記実施の形態１では、特に言及していないが、ダイレクトベクトルの候補をスライス単位に決定するようにしてもよい。
どのベクトルを候補とするかを示す情報はスライスヘッダに多重する。
例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では空間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。

候補となるベクトルが多い方が、より原画像に近い予測画像を生成することができるが、エンコーダの処理量が増大するため、効果がないベクトルは予め候補からはずしておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にオン／オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。

また、マクロブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率改善の効果がある。
また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。

上記実施の形態１では、時間ダイレクトベクトルと空間ダイレクトベクトルの双方が存在する場合を想定して説明したが、符号化ブロックＢ^ｎに対して、イントラ符号化処理を実施している場合などには、動きベクトルが存在しない場合もある。この場合、ゼロベクトルとする方法や、候補から外すなどの方法が考えられる。
ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが、処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。

上記実施の形態１では、ダイレクトベクトルを生成するものについて示したが、そのダイレクトベクトルを通常の動きベクトルの符号化に使用する予測ベクトルとして使用するようにしてもよい。
ダイレクトベクトルを予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。

上記実施の形態１では、符号化ブロックＢ^ｎより時間的に前にある画像と、後にある画像とを組み合わせて、評価値ＳＡＤを算出する例を示したが（図１５を参照）、図１９に示すように、時間的に前にある画像のみを組み合わせて、評価値ＳＡＤを算出するようにしてもよい。また、時間的に後にある画像のみを組み合わせて、評価値ＳＡＤを算出するようにしてもよい。
この場合、時間ベクトルは、下記の式（９）（１０）で表される。

また、ｄは時間的な距離を示し、ｄ_０はリスト０の参照画像の時間的距離を示し、ｄ_１はリスト０の参照画像の時間的距離を示すものとする。
さらに、ｖ_colとｄ_colは参照画像中で空間的に同じ位置にあるブロックのベクトルと、そのベクトルが示す参照画像の時間的な距離を示すものとする。

２つの参照画像リストが同じ参照画像を示している場合であっても、リストに２枚以上の参照画像があれば、図１９と同様の方法で適用可能である。

上記実施の形態１では、２つの参照画像リストに２枚以上参照画像がある場合を想定しているが、実際は参照画像が１枚しかない場合も考えられる。
この場合、２つの参照画像リストに同じ参照画像がセットされていれば、時間ベクトルは使用せずに、空間ベクトルのみで判断することが考えられる。違う参照画像がセットされている場合は前述の方式で対応可能である。

上記実施の形態１では、２方向からの予測処理を想定しているが、１方向だけの予測処理でもよい。１方向のベクトルから予測する場合は、どちらのベクトルを使用するかを示す情報を符号化して伝送する。これにより、オクルージョンなどの問題に対処することが可能となり、予測精度の向上に寄与する。

上記実施の形態１のダイレクトモードでは、２本のベクトルを用いた予測を想定しているが、ベクトルの本数は３本以上であってもよい。
この場合、例えば、複数のベクトル候補のうち、閾値Ｔｈ以下の評価値ＳＡＤになる候補の全てを使用して予測画像を生成する方法が考えられる。また、参照画像リストもそのベクトル分保持している。
また、閾値Ｔｈ以下の候補の全てを使用するのではなく、スライスヘッダなどに、予め使用する最大ベクトル数を定めておき、評価値の小さい候補から最大ベクトル数分用いて予測画像を生成するようにしてもよい。
一般的に、予測画像に用いる参照画像が多い程、性能が向上することが知られている。そのため、処理量は増えるが、符号化効率の向上に寄与する。

上記実施の形態１では、参照画像間の評価によってベクトルを決定しているが、これは空間的に隣接する符号化済の画像と参照画像との比較で評価してもよい。
この場合は、図２０に示すようなＬ字型の画像を用いて行うことが考えられる。
また、空間的に隣接する画像を用いる場合、パイプライン処理の都合で符号化済みの画像が間に合わない可能性もある。この場合、代わりに予測画像を用いることが考えられる。

上記実施の形態１では、図９に示すように、符号化ブロックＢ^ｎのサイズがＬ^ｎ＝Ｍ^ｎであるものを示したが、符号化ブロックＢ^ｎのサイズがＬ^ｎ≠Ｍ^ｎであってもよい。
例えば、図２１に示すように、符号化ブロックＢ^ｎのサイズがＬ^ｎ＝ｋＭ^ｎとなる場合が考えられる。
次の分割では、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ，Ｍ^ｎ）となり、以降の分割は、図９と同様の分割を行ってもよいし、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）のように分割を行ってもよい（図２２を参照）。
また、図２３に示すように、図２１と図２２の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献１のＨ．２６４のような１６×１６を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。
上記では、符号化ブロックＢ^ｎのサイズがＬ^ｎ＝ｋＭ^ｎとなる場合を示したが、ｋＬ^ｎ＝Ｍ^ｎのように縦に連結したものであっても、同様の考えで分割が可能であることは言うまでもない。

上記実施の形態１では、変換・量子化部７、逆量子化・逆変換部８，５５が予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理（逆変換処理）を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図２４に示すように階層構造にしてもよい。この場合、各階層では分割するか否かを示すフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。
上記変換は、正方形での変換を仮定しているが、長方形など、他の矩形での変換であってもよい。

実施の形態３．
上記実施の形態１では、動き補償予測部５，５４のダイレクトベクトル生成部２３，６２が、空間ダイレクトベクトルと時間ダイレクトベクトルを生成するものを示したが、その空間ダイレクトベクトルと時間ダイレクトベクトルを生成する際、初期探索点を決定し、その初期探索点の周囲を探索することで、ダイレクトベクトルを決定するようにしてもよい。

図２５はこの発明の実施の形態３による動画像符号化装置の動き補償予測部５を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
ダイレクトベクトル生成部２５は空間ダイレクトベクトルと時間ダイレクトベクトルを生成する処理を実施する。

図２６は動き補償予測部５を構成しているダイレクトベクトル生成部２５を示す構成図である。
図２６において、初期ベクトル生成部３４は符号化済みのブロックの動きベクトルから初期ベクトルを生成する処理を実施する。
動きベクトル探索部３５は初期ベクトル生成部３４により生成された初期ベクトルが示す初期探索点の周囲を探索することで、ダイレクトベクトルを決定する処理を実施する。

図２７はダイレクトベクトル生成部２５を構成している初期ベクトル生成部３４を示す構成図である。
図２７において、空間ベクトル生成部７１は例えば図３の空間ダイレクトベクトル生成部３１と同様の方法で、符号化済みのブロックの動きベクトルから空間ベクトルを生成する処理を実施する。
時間ベクトル生成部７２は例えば図３の時間ダイレクトベクトル生成部３２と同様の方法で、符号化済みのブロックの動きベクトルから時間ベクトルを生成する処理を実施する。
初期ベクトル判定部７３は空間ベクトル生成部７１により生成された空間ベクトル又は時間ベクトル生成部７２により生成された時間ベクトルのいずれか一方を初期ベクトルとして選択する処理を実施する。

図２８は初期ベクトル生成部３４を構成している初期ベクトル判定部７３を示す構成図である。
図２８において、動き補償部８１は図４の動き補償部４１と同様の方法で、空間ダイレクトモードのリスト０予測画像、空間ダイレクトモードのリスト１予測画像、時間ダイレクトモードのリスト０予測画像及び時間ダイレクトモードのリスト１予測画像を生成する処理を実施する。

類似度算出部８２は図４の類似度算出部４２と同様の方法で、空間評価値として、空間ダイレクトモードのリスト０予測画像とリスト１予測画像の類似度を算出するとともに、時間評価値として、時間ダイレクトモードのリスト０予測画像とリスト１予測画像の類似度を算出する処理を実施する。
初期ベクトル決定部８３は類似度算出部８２により算出された空間評価値と時間評価値を比較し、その比較結果にしたがって、空間ベクトル又は時間ベクトルを選択する処理を実施する。

図２９はこの発明の実施の形態３による動画像復号装置の動き補償予測部５４を示す構成図であり、図において、図６と同一符号は同一または相当部分を示すので説明を省略する。
ダイレクトベクトル生成部６４は空間ダイレクトベクトルと時間ダイレクトベクトルを生成する処理を実施する。
なお、ダイレクトベクトル生成部６４の内部構成は、図２５のダイレクトベクトル生成部２５と同じである。

次に動作について説明する。
上記実施の形態１と比較して、動き補償予測部５，５４のダイレクトベクトル生成部２３，６２が、ダイレクトベクトル生成部２５，６４に代えられている点以外は同じであるため、ダイレクトベクトル生成部２５，６４の処理内容のみを説明する。
ただし、ダイレクトベクトル生成部２５，６４の処理内容は同じであるため、ダイレクトベクトル生成部２５の処理内容を説明する。

ダイレクトベクトル生成部２５の初期ベクトル生成部３４は、符号化済みのブロックの動きベクトルから初期ベクトルＭＶ＿ｆｉｒｓｔを生成する。
即ち、初期ベクトル生成部３４の空間ベクトル生成部７１は、例えば、図３の空間ダイレクトベクトル生成部３１と同様の方法で、符号化済みのブロックの動きベクトルから空間ベクトルを生成する。ただし、他の方法で空間ベクトルを生成するようにしてもよい。
初期ベクトル生成部３４の時間ベクトル生成部７２は、例えば、図３の時間ダイレクトベクトル生成部３２と同様の方法で、符号化済みのブロックの動きベクトルから時間ベクトルを生成する。ただし、他の方法で時間ベクトルを生成するようにしてもよい。

初期ベクトル生成部３４の初期ベクトル判定部７３は、空間ベクトル生成部７１が空間ベクトルを生成し、時間ベクトル生成部７２が時間ベクトルを生成すると、その空間ベクトル又は時間ベクトルの中から、いずれか一方のベクトルを初期ベクトルＭＶ＿ｆｉｒｓｔとして選択する。
即ち、初期ベクトル判定部７３の動き補償部８１は、図４の動き補償部４１と同様の方法で、空間ダイレクトモードのリスト０予測画像、空間ダイレクトモードのリスト１予測画像、時間ダイレクトモードのリスト０予測画像及び時間ダイレクトモードのリスト１予測画像を生成する。

初期ベクトル判定部７３の類似度算出部８２は、図４の類似度算出部４２と同様の方法で、空間評価値として、空間ダイレクトモードのリスト０予測画像とリスト１予測画像の類似度を算出するとともに、時間評価値として、時間ダイレクトモードのリスト０予測画像とリスト１予測画像の類似度を算出する。
初期ベクトル判定部７３の初期ベクトル決定部８３は、類似度算出部８２により算出された空間評価値と時間評価値の比較結果を参照することで、空間ベクトル又は時間ベクトルのうち、予測画像間の類似度が高い方のベクトルを選択する。

ダイレクトベクトル生成部２５の動きベクトル探索部３５は、初期ベクトル生成部３４が初期ベクトルＭＶ＿ｆｉｒｓｔを生成すると、図３０に示すように、その初期ベクトルＭＶ＿ｆｉｒｓｔが示す初期探索点（ブロック）を中心に、その周り±ｎの範囲を探索することで、ダイレクトベクトルを決定する。
探索の際の評価は、例えば、図２８の類似度算出部８２と同等の処理を行うようにしてもよい。この場合、初期ベクトルが示す位置をｖとすると、下記の式（１１）のように、探索の評価値ＳＡＤを算出する。

ただし、探索範囲ｎは固定でもよいし、スライスヘッダなど上位ヘッダで決定してもよい。また、探索点の分布範囲（探索範囲）を正方形と仮定しているが、矩形でもよいし、ひし形などでもよい。

動きベクトル探索部３５は、探索の評価値ＳＡＤを算出すると、探索範囲内において、評価値ＳＡＤが最も小さい動きベクトルをダイレクトベクトルとして動き補償処理部２４に出力する。

この実施の形態３では、時間ベクトルと空間ベクトルを生成し、いずれか一方のベクトルを初期ベクトルとして選択するものについて示したが、その時間ベクトルや空間ベクトルの他に、他のベクトルを候補ベクトルとして加え、それらの候補ベクトルの中から初期ベクトルを選択するようにしてもよい。
例えば、図１７のような空間ベクトルＭＶ＿Ａ，ＭＶ＿Ｂ，ＭＶ＿Ｃや、時間ベクトルＭＶ＿１〜ＭＶ＿８を候補ベクトルに加えて、これらの空間ベクトルや時間ベクトルから初期ベクトルを選択するようにしてもよい。
また、図１８に示すように、複数の符号化済ベクトルから１つのベクトルを生成し、そのベクトルを候補ベクトルに加えるようにしてもよい。
このように、候補ベクトルを増やすことで処理量は増加するが、初期ベクトルの確度が向上して、符号化効率を向上させることができる。

この実施の形態３では、ダイレクトベクトルの候補をスライス単位に決定するようにしてもよい。
どのベクトルを候補とするか示す情報はスライスヘッダに多重する。
例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では時間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。

候補となるベクトルが多い方が、より原画像に近い予測画像を生成することができるが、エンコーダの処理量が増大するため、効果がないベクトルは予め候補からはずしておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にオン／オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。

また、マクロブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率改善の効果がある。
また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。

この実施の形態３では、時間ベクトルと空間ベクトルの双方が存在する場合を想定して説明したが、符号化ブロックＢ^ｎに対して、イントラ符号化処理を実施している場合などには、動きベクトルが存在しない場合もある。この場合、ゼロベクトルとする方法や、候補から外すなどの方法が考えられる。
ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。

この実施の形態３では、ダイレクトベクトルを生成するものについて示したが、そのダイレクトベクトルを通常の動きベクトルの符号化に使用する予測ベクトルとして使用するようにしてもよい。
ダイレクトベクトルを予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。

この実施の形態３では、符号化ブロックＢ^ｎより時間的に前にある画像と、後にある画像とを組み合わせて、評価値ＳＡＤを算出する例を示したが（図１５を参照）、図１９に示すように、時間的に前にある画像のみを組み合わせて、評価値ＳＡＤを算出するようにしてもよい。また、時間的に後にある画像のみを組み合わせて、評価値ＳＡＤを算出するようにしてもよい。
この場合、時間ベクトルは、下記の式（１２）（１３）で表される。

また、ｄは時間的な距離を示し、ｄ_０はリスト０の参照画像の時間的距離を示し、ｄ_１はリスト０の参照画像の時間的距離を示すものとする。
さらに、ｖ_colとｄ_colは参照画像中で空間的に同じ位置にあるブロックのベクトルと、そのベクトルが示す参照画像の時間的な距離を示すものとする。

２つの参照画像リストが同じ参照画像を示している場合であっても、図１９と同様の方法で適用可能である。

この実施の形態３では、２つの参照画像リストに２枚以上参照画像がある場合を想定しているが、実際は参照画像が１枚しかない場合も考えられる。
この場合、２つの参照画像リストに同じ参照画像がセットされていれば、時間ベクトルは使用せずに、空間ベクトルのみで判断することが考えられる。違う参照画像がセットされている場合は前述の方式で対応可能である。

この実施の形態３では、２方向からの予測処理を想定しているが、１方向だけの予測処理でもよい。１方向のベクトルから予測する場合は、どちらのベクトルを使用するか示す情報を符号化して伝送する。これにより、オクルージョンなどの問題に対処することが可能となり、予測精度の向上に寄与する。

この実施の形態３では、２本のベクトルを用いた予測を想定しているが、ベクトルの本数は３本以上であってもよい。
この場合、例えば、複数のベクトル候補のうち、閾値Ｔｈ以下の評価値ＳＡＤになる候補の全てを使用して予測画像を生成する方法が考えられる。
また、閾値Ｔｈ以下の候補の全てを使用するのではなく、スライスヘッダなどに、予め使用する最大ベクトル数を定めておき、評価値の小さい候補から最大ベクトル数分用いて予測画像を生成するようにしてもよい。

この実施の形態３では、参照画像間の評価によってベクトルを決定しているが、これは空間的に隣接する符号化済の画像と参照画像との比較で評価してもよい。
この場合は、図２０に示すようなＬ字型の画像を用いて行うことが考えられる。
また、空間的に隣接する画像を用いる場合、パイプライン処理の都合で符号化済みの画像が間に合わない可能性もある。この場合、代わりに予測画像を用いることが考えられる。

この実施の形態３では、初期ベクトルを決定してから、動きベクトルの探索を行っているが、動きベクトルの探索を行うか否かをスライス単位でフラグを用いて決定するようにしてもよい。
この場合、符号化効率が落ちるが、処理量を大きく削減することができる効果がある。
ただし、フラグはスライス単位でもよいし、シーケンスやピクチャなどの上位レイヤで決定してもよい。フラグがオフであって、動き探索を行わない場合は、上記実施の形態１と同等の動作を行う。

この実施の形態３では、ダイレクトベクトル生成部２５，６４が、ブロックサイズによらずに行うことを想定しているが、この処理は所定のサイズ以下の場合のみに制限してもよい。
所定のサイズ以下に制限するか否かを示すフラグや、どのブロックサイズ以下にするかを示す情報は、スライスなど上位ヘッダに多重してもよいし、最大ＣＵサイズに応じて変化させてもよい。
ブロックサイズが小さくなると、参照画像間の相関が低くなり、誤差が大きくなる傾向にある。そのため、どちらのベクトルを選択しても、あまり性能に影響がでないケースも多く、大きなブロックサイズでの処理をオフにすることで、符号化性能を落とすことなく処理量を減らす効果がある。

実施の形態４．
上記実施の形態１では、動き補償予測部５，５４が、符号化ブロックの周囲に位置している符号化済みブロック（復号済みブロック）の動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャ（復号済みピクチャ）の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択するものについて示したが、動画像符号化装置の動き補償予測部５では、選択可能な１以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部１３に出力するようにしてもよい。
一方、動画像復号装置の動き補償予測部５４では、ビットストリームに多重化されているインデックス情報が示す動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するようにしてもよい。

図３１はこの発明の実施の形態４による動画像符号化装置の動き補償予測部５を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
ダイレクトベクトル生成部２６は選択可能な動きベクトルと、その動きベクトルを示すインデックス情報とが記述されているダイレクトベクトル候補インデックスを参照して、選択可能な１以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルをダイレクトベクトルとして動き補償処理部２４に出力するとともに、その動きベクトルを示すインデックス情報を可変長符号化部１３に出力する処理を実施する。
なお、可変長符号化部１３は圧縮データや符号化モード等を可変長符号化する際、そのインデックス情報をインター予測パラメータに含めて可変長符号化する。

図３２はこの発明の実施の形態４による動画像復号装置の動き補償予測部５４を示す構成図であり、図において、図６と同一符号は同一または相当部分を示すので説明を省略する。
ダイレクトベクトル生成部６５は選択可能な動きベクトルと、その動きベクトルを示すインデックス情報とが記述されているダイレクトベクトル候補インデックスを入力し、そのダイレクトベクトル候補インデックスから、インター予測パラメータに含まれているインデックス情報が示す動きベクトルを読み出し、その動きベクトルをダイレクトベクトルとして動き補償処理部６３に出力する処理を実施する。

次に動作について説明する。
上記実施の形態１と比較して、動き補償予測部５，５４のダイレクトベクトル生成部２３，６２が、ダイレクトベクトル生成部２６，６５に代えられている点以外は同じであるため、ダイレクトベクトル生成部２６，６５の処理内容のみを説明する。

動き補償予測部５のダイレクトベクトル生成部２６は、符号化モードｍ（Ｂ^ｎ）がダイレクトモードである場合、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎ毎に、ダイレクトベクトルを生成する。
即ち、ダイレクトベクトル生成部２６は、図３３に示すようなダイレクトベクトル候補インデックスを参照して、選択可能な１以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択する。
図３３の例では、５個の動きベクトルが選択可能な動きベクトルとして列挙されているが、空間予測では、「ｍｅｄｉａｎ」が一番多く選ばれるため、「ｍｅｄｉａｎ」にインデックス０が割り当てられている。

ダイレクトベクトル生成部２６は、予測画像の生成に適する動きベクトルを選択する際、下記の式（１４）に示すように、選択可能な動きベクトルから得られる予測画像と原画像の歪と、選択可能な動きベクトルのインデックス符号量とからコストＲを算出し、複数の動きベクトルの中で、コストＲが最小の動きベクトルを選択する。

ダイレクトベクトル生成部２６は、コストＲが最小の動きベクトルを選択すると、その動きベクトルをダイレクトベクトルとして動き補償処理部２４に出力するとともに、その動きベクトルを示すインデックス情報を可変長符号化部１３に出力する。
例えば、コストＲが最小の動きベクトルとして「ｍｅｄｉａｎ」を選択していれば、インデックス０を可変長符号化部１３に出力し、「ＭＶ＿Ａ」を選択していれば、インデックス１を可変長符号化部１３に出力する。
可変長符号化部１３は、ダイレクトベクトル生成部２６からインデックス情報を受けると、圧縮データや符号化モード等を可変長符号化する際、そのインデックス情報をインター予測パラメータに含めて可変長符号化する。

動き補償予測部５４のダイレクトベクトル生成部６５は、符号化モードｍ（Ｂ^ｎ）がダイレクトモードである場合、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎ毎に、ダイレクトベクトルを生成する。
即ち、ダイレクトベクトル生成部６５は、図３１のダイレクトベクトル生成部２６と同じダイレクトベクトル候補インデックスを入力しており（例えば、図３３のダイレクトベクトル候補インデックス）、切替スイッチ６１からインデックス情報を含むインター予測パラメータを受けると、そのダイレクトベクトル候補インデックスから、そのインデックス情報が示す動きベクトルを読み出し、その動きベクトルをダイレクトベクトルとして動き補償処理部６３に出力する。
例えば、インデックス情報がインデックス０であれば、ダイレクトベクトルとして「ｍｅｄｉａｎ」を出力し、インデックス情報がインデックス１であれば、ダイレクトベクトルとして「ＭＶ＿Ａ」を出力する。

以上で明らかなように、この実施の形態４によれば、選択可能な１以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部１３に出力するように構成したので、上記実施の形態１と同様に、所定のブロック単位に最適なダイレクトモードを選択して、符号量を削減することができる効果を奏する。

この実施の形態４では、選択可能な位置にある動きベクトルが存在する場合を想定して説明したが、符号化ブロックＢ^ｎに対して、イントラ符号化処理を実施している場合などには、動きベクトルが存在しない場合もある。この場合、ゼロベクトルとする方法や、候補から外すなどの方法が考えられる。
ゼロベクトルとする場合は、候補が増えるため、符号化効率を向上させることができるが、処理量が増える。ダイレクトベクトルの候補から外す場合は処理量を減らすことができる。

この実施の形態４では、ダイレクトベクトルを生成するものについて示したが、そのベクトルを通常の動きベクトルの符号化に使用する予測ベクトルとして使用するようにしてもよい。
予測ベクトルとして使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。

この実施の形態４では、選択可能な動きベクトルの候補が固定されているが、選択可能な動きベクトルの候補をスライス単位に決定するようにしてもよい。
どのベクトルを候補とするか示す情報はスライスヘッダに多重する。
例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする一方、カメラが固定な映像では時間ベクトルの効果が大きいため候補に加えるなどの方法が考えられる。

候補となるベクトルが多い方が、より原画像に近い予測画像を生成することができるが、エンコーダの処理量が増大するため、効果がないベクトルは予め候補からはずしておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にオン／オフのフラグを設け、そのフラグがオンのベクトルのみを候補とする方法が考えられる。
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えてもよい。また、選択候補となるセットを一つ以上用意して、その候補セットのインデックスを符号化するようにしてもよい。
また、マクロブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善が図られる。

この実施の形態４では、インデックスの順序を固定にしているが、インデックスの順序をスライス単位で変更するようにしてもよい。スライスによって選択されるベクトルに偏りがある場合、選択回数が多いベクトルに対して短い符号を割り当てるようにインデックス表を切り替えることで、符号化効率の向上が図られる。
切り替え情報の符号化は、個々のベクトルに対して、それぞれ順序を符号化してもよいし、複数のインデックスセットを用意し、どのインデックスセットを用いるかを示す情報を符号化するようにしてもよい。
また、デフォルト設定のみを決めておき、デフォルト設定と違う設定を使用するか否かを示すフラグを用意し、そのフラグがオンである場合に限り、インデックスセットを更新して設定を切り替える方法も考えられる。

ここでは、スライス単位でインデックスの順序を切り替える例を示しているが、インデックスの順序をシーケンスやピクチャなど上位レイヤで決定してもよいことは言うまでもない。
また、パーティションブロックや符号化ブロック毎に切り替えてもよい。マクロブロックや符号化ブロック毎に切り替えることで、局所性を持たせることができ、符号化効率の改善が図られる。

また、選択候補は、パーティションブロックサイズ毎に一意に決定しておいてもよい。一般的にブロックサイズが小さくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。そのため、メディアン予測で決定されるインデックスの順序を変更することで、符号化効率の向上を図ることができる。

この実施の形態４では、選択可能な動きベクトルが５個用意されているダイレクトベクトル候補インデックスを示したが、６個以上の動きベクトルを候補ベクトルとして用意するようにしてもよいし、５個より少ない動きベクトルを候補ベクトルとして用意してもよい。
例えば、図１７に示すように、時間ベクトルの近傍のベクトルや、図１８に示すように、周囲のベクトルの重み付け加算が行われたベクトルを候補ベクトルとして加えてもよい。

この実施の形態４では、２方向からの予測処理を想定しているが、１方向だけの予測処理でもよい。１方向のベクトルから予測する場合は、どちらのベクトルを使用するかを示す情報を符号化して伝送する。これにより、オクルージョンなどの問題に対処することが可能となり、予測精度の向上に寄与する。

この実施の形態４では、２本のベクトルを用いる両方向予測を想定しているが、ベクトルの本数は３本以上であってもよい。この場合、例えば、選択した全てのベクトルを示すインデックス情報を符号化してもよいし、逆に選択しないベクトルを示すインデックス情報を符号化してもよい。
あるいは、図３４に示すように、１本のベクトルのインデックス情報だけを符号化し、そのベクトルが示す参照画像に近い画像を用いる方法が考えられる。

この実施の形態４では、複数の動きベクトルの中で、コストＲが最小の動きベクトルを選択するものを示したが、下記の式（１５）に示すように、評価値ＳＡＤ_ｋを算出して、その評価値ＳＡＤ_ｋが閾値Ｔｈ以下である動きベクトルを選択するようにしてもよい。

ただし、ｆ_{ｉｎｄｅｘ}はインデックス情報を符号化しているベクトルが示す参照画像、ｇ_ｋはベクトルＭＶ＿ｋが示す参照画像を表している。

ここでは、評価値ＳＡＤ_ｋを用いる例を示しているが、例えば、ＳＳＥなどの別の手法で評価するようにしてもよいことは言うまでもない。

使用するベクトルの本数を示す情報はスライス単位など上位ヘッダに多重するようにしてもよい。ベクトルの本数が増えると、符号化効率は向上するが、処理量が増えるため、トレードオフの関係にある。
また、スライス単位ではなく、符号化ブロックやパーティションなどより細かい単位で設定するようにしてもよい。この場合、画像の局所性に応じて処理量と符号化効率のバランスを図ることができる。

この実施の形態４では、複数の選択可能な動きベクトルの中から、予測画像の生成に適する動きベクトルを選択するものを示したが、上記実施の形態３のように、複数の選択可能な動きベクトルの中から、初期ベクトルとして使用する動きベクトルを選択してから、その初期ベクトルの周囲を探索することで、最終的な動きベクトルを決定するようにしてもよい。この場合のダイレクトベクトル生成部２６の構成は図３５のようになる。
図３５の初期ベクトル生成部３６は、図２６の初期ベクトル生成部３４に相当する。

実施の形態５．
この実施の形態５の動き補償予測部５，５４は、上記実施の形態１（または、実施の形態２，３）の機能と、上記実施の形態４の機能とを有し、上記実施の形態１（または、実施の形態２，３）の機能と上記実施の形態４の機能をスライス単位で切り替えることが可能であり、いずれかの機能を使用して、予測画像を生成することができる。

図３６はこの発明の実施の形態５による動画像符号化装置の動き補償予測部５を示す構成図であり、図において、図３１と同一符号は同一または相当部分を示すので説明を省略する。
ダイレクトベクトル生成部２７はダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図２のダイレクトベクトル生成部２３（または、図２５のダイレクトベクトル生成部２５）と同様の方法で、ダイレクトベクトルを生成する一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図３１のダイレクトベクトル生成部２６と同様の方法で、ダイレクトベクトルを生成するとともに、そのダイレクトベクトルを示すインデックス情報を可変長符号化部１３に出力する処理を実施する。
また、ダイレクトベクトル生成部２７はダイレクトモード切替フラグを可変長符号化部１３に出力する処理を実施する。

図３７は動き補償予測部５を構成しているダイレクトベクトル生成部２７を示す構成図である。
図３７において、切替スイッチ９１はダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを図２のダイレクトベクトル生成部２３（または、図２５のダイレクトベクトル生成部２５）に相当する部分に出力し、インデックス情報を送信する旨を示す場合、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎを図３１のダイレクトベクトル生成部２６に相当する部分に出力する処理を実施する。

図３８はこの発明の実施の形態５による動画像復号装置の動き補償予測部５４を示す構成図であり、図において、図３２と同一符号は同一または相当部分を示すので説明を省略する。
ダイレクトベクトル生成部６６はインター予測パラメータに含まれているダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図６のダイレクトベクトル生成部６２（または、図２９のダイレクトベクトル生成部６４）と同様の方法で、ダイレクトベクトルを生成する一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図３２のダイレクトベクトル生成部６５と同様の方法で、ダイレクトベクトルを生成する処理を実施する。

次に動作について説明する。
動き補償予測部５のダイレクトベクトル生成部２７は、図２のダイレクトベクトル生成部２３（または、図２５のダイレクトベクトル生成部２５）の機能と、図３１のダイレクトベクトル生成部２６の機能とを有しており、外部から入力されたダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図２のダイレクトベクトル生成部２３（または、図２５のダイレクトベクトル生成部２５）と同様の方法で、ダイレクトベクトルを生成し、そのダイレクトベクトルを動き補償処理部２４に出力する。
また、ダイレクトベクトル生成部２７は、そのダイレクトモード切替フラグを可変長符号化部１３に出力する。

ダイレクトベクトル生成部２７は、そのダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図３２のダイレクトベクトル生成部６５と同様の方法で、ダイレクトベクトルを生成し、そのダイレクトベクトルを動き補償処理部２４に出力する。
また、ダイレクトベクトル生成部２７は、そのダイレクトモード切替フラグとインデックス情報を可変長符号化部１３に出力する。

可変長符号化部１３は、ダイレクトベクトル生成部２７からダイレクトモード切替フラグを受けると、圧縮データや符号化モード等を可変長符号化する際、そのダイレクトモード切替フラグをインター予測パラメータに含めて可変長符号化する。
また、可変長符号化部１３は、ダイレクトベクトル生成部２７からダイレクトモード切替フラグとインデックス情報を受けると、圧縮データや符号化モード等を可変長符号化する際、そのダイレクトモード切替フラグとインデックス情報をインター予測パラメータに含めて可変長符号化する。

動き補償予測部５４のダイレクトベクトル生成部６６は、可変長復号部５１により復号されたインター予測パラメータを受けると、そのインター予測パラメータに含まれているダイレクトモード切替フラグが、インデックス情報を送信しない旨を示す場合、図６のダイレクトベクトル生成部６２（または、図２９のダイレクトベクトル生成部６４）と同様の方法で、ダイレクトベクトルを生成する。
一方、ダイレクトモード切替フラグが、インデックス情報を送信する旨を示す場合、図３２のダイレクトベクトル生成部６５と同様の方法で、ダイレクトベクトルを生成する。

一般的に、インデックス情報を送信するモードは、インデックス情報を送信しないモードと比べて付加情報が増える。そのため、低レートなど全符号量の中で付加情報の割合が大きい場合には、インデックス情報を送信しないモードの方が性能がよい。
一方、高レートの場合など全符号量の中で付加情報の割合が小さい場合には、インデックス情報を付加して最適なダイレクトベクトルを使用する方が、符号化効率の向上が見込まれる。

この実施の形態５では、ダイレクトモード切替フラグがインター予測パラメータに含まれるものを示したが、ダイレクトモード切替フラグがスライスヘッダに多重されてもよいし、ピクチャやシーケンスヘッダに多重されてもよい。

また、切り替えはパーティションサイズによって決定することも考えられる。
一般的にパーティションサイズが大きくなると、動きベクトルなどの付加情報の割合が相対的に小さくなる。そのため、ある一定以上の大きさの場合は、インデックス情報を送信するモードを選択し、それより小さい場合は、インデックス情報を送信しないモードを選択するなどの構成が考えられる。
上記のように、パーティションによって決定する場合、符号化ブロックサイズ毎に、どちらを使用するかを示すフラグをスライスヘッダなど上位ヘッダに多重するようにしてもよい。

この実施の形態４では、ダイレクトモード切替フラグによって、上記実施の形態１の機能と上記実施の形態４の機能を切り替えるものを示したが、上記実施の形態２の機能と上記実施の形態４の機能を切り替えるようにしてもよいし、上記実施の形態３の機能と上記実施の形態４の機能を切り替えるようにしてもよい。
また、上記実施の形態１の機能と上記実施の形態２の機能を切り替えるようにしてもよいし、上記実施の形態１の機能と上記実施の形態３の機能を切り替えるようにしてもよいし、上記実施の形態２の機能と上記実施の形態３の機能を切り替えるようにしてもよい。
また、上記実施の形態１〜４の機能の中から、任意の機能を選択するようにしてもよい。

この実施の形態５では、ダイレクトモード切替フラグによって、上記実施の形態１の機能と上記実施の形態４の機能を切り替えるものを示したが、これは切り替えるのではなくｏｎ／ｏｆｆのフラグとして用いてもよい。例えば、実施の形態１を使用するかどうかのｏｎ／ｏｆｆフラグとし、ｏｎの場合は実施の形態１と実施の形態４をどちらも行い、符号化効率の良い方のモードを選択し、その情報を符号化することが考えられる。このようにすることで画像の局所性に応じてダイレクトモードを切り替えることができ、符号化効率の向上に寄与する効果を奏する。

上記では実施の形態１をｏｎ／ｏｆｆするとしたが、これは実施の形態４をｏｎ／ｏｆｆしてもよい。また、組み合わせは実施の形態２と４、実施の形態３と４の組み合わせでもよい。

この実施の形態５では、複数の選択可能な動きベクトルの中から、予測画像の生成に適する動きベクトルを選択するものを示したが、上記実施の形態３のように、複数の選択可能な動きベクトルの中から、初期ベクトルとして使用する動きベクトルを選択してから、その初期ベクトルの周囲を探索することで、最終的な動きベクトルを決定するようにしてもよい。この場合のダイレクトベクトル生成部２７の構成は図３９のようになる。
図３９の初期ベクトル生成部３７は、図２６の初期ベクトル生成部３４に相当する。

例えば、最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択すると書いたが、最大サイズあるいは階層数、符号化モードのいずれかもしくは全てをあらかじめ事前に決定しておいてもよい。

実施の形態６．
上記実施の形態４では、動画像符号化装置における動き補償予測部５のダイレクトベクトル生成部２６が、図３３に示すようなダイレクトベクトル候補インデックスを参照して、選択可能な１以上の動きベクトルを把握するものを示したが、符号化制御部１が、符号化ブロックのブロックサイズに応じて、選択可能な１以上の動きベクトルリストを生成し、選択可能な１以上の動きベクトルを示すダイレクトベクトル候補リストとダイレクトベクトル候補インデックスを参照することで、ダイレクトモードベクトルを決定してもよい。
具体的には、以下の通りである。

上述したように、選択可能な１以上の動きベクトルは、例えば、パーティションのブロックサイズ毎に一意に決定することができるが、図４０に示すように、符号化ブロックであるパーティションのブロックサイズが大きい場合、周囲のブロックとの相関が高く、逆にパーティションのブロックサイズが小さい場合、周囲のブロックとの相関が低い。
したがって、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らすことができる。

そこで、符号化制御部１は、図４１に示すように、予め、符号化ブロックであるパーティションのブロックサイズ毎に、選択可能な１以上の動きベクトルをリスト化している。
図４１から明らかなように、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らしており、例えば、ブロックサイズが「６４」のパーティションでは、選択可能な動きベクトルの個数が「４」であるが、ブロックサイズが「８」のパーティションでは、選択可能な動きベクトルの個数が「２」である。
図４２における「ｍｅｄｉａｎ」、「ＭＶ＿Ａ」、「ＭＶ＿Ｂ」、「ＭＶ＿Ｃ」、「ｔｅｍｐｏｒａｌ」は、図３３における「ｍｅｄｉａｎ」、「ＭＶ＿Ａ」、「ＭＶ＿Ｂ」、「ＭＶ＿Ｃ」、「ｔｅｍｐｏｒａｌ」と対応している。

符号化制御部１は、選択可能な１以上の動きベクトルを決定する際、例えば、図４１のリストを参照して、符号化対象であるパーティションのブロックサイズに対応する１以上の動きベクトルを特定し、その１以上の動きベクトルを示すダイレクトベクトル候補リストを動き補償予測部５に出力する。
例えば、パーティションのブロックサイズが「６４」である場合、選択可能な１以上の動きベクトルとして、「ＭＶ＿Ａ」、「ＭＶ＿Ｂ」、「ＭＶ＿Ｃ」、「ｔｅｍｐｏｒａｌ」を決定する。
また、パーティションのブロックサイズが「８」である場合、選択可能な１以上の動きベクトルとして、「ｍｅｄｉａｎ」、「ｔｅｍｐｏｒａｌ」を決定する。

動き補償予測部５のダイレクトベクトル生成部２６は、符号化制御部１からダイレクトベクトル候補リストを受けると、上記実施の形態４と同様に、そのダイレクトベクトル候補リストが示す１以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択するが、パーティションのブロックサイズが小さい場合、選択可能な動きベクトルの候補数が少ないため、例えば、上記の式（１５）に示すような評価値ＳＡＤ_ｋの算出数などが減り、動き補償予測部５の処理負荷が軽減される。

このように、動画像符号化装置の符号化制御部１が、選択可能な１以上の動きベクトルを決定する場合、動画像復号装置においても、動画像符号化装置と全く同じ選択可能な１以上のダイレクトベクトル候補リストを持つ必要がある。
動画像復号装置の可変長復号部５１は、符号化モードｍ（Ｂ^ｎ）がダイレクトモードである場合、符号化ブロックＢ^ｎのパーティションＰ_ｉ ^ｎ毎に、そのパーティションのブロックサイズを動き補償予測部５４に出力するとともに、ビットストリームから可変長復号したインデックス情報（動画像符号化装置の動き補償予測部５で使用された動きベクトルを示す情報）を動き補償予測部５４に出力する。

動き補償予測部５４のダイレクトベクトル生成部６５は、可変長復号部５１からパーティションのブロックサイズを受けると、上記実施の形態４のように、ダイレクトベクトルインデックスを入力し、ブロックサイズに応じて予め決めてある１以上の動きベクトル候補リストからダイレクトモードに用いる動きベクトルを出力する。
即ち、ダイレクトベクトル生成部６５は、予め、パーティションのブロックサイズ毎に、選択可能な１以上の動きベクトルをリスト化しており（図４１を参照）、選択可能な１以上の動きベクトルを決定する際、図４１のリストとダイレクトベクトルインデックスを参照して、今回復号を行うパーティションのブロックサイズに対応する１以上の動きベクトルを出力する。

例えば、パーティションのブロックサイズが「８」であるときに、インデックス情報がインデックス０であれば、ダイレクトベクトルとして「ｍｅｄｉａｎ」を出力し、インデックス情報がインデックス１であれば、ダイレクトベクトルとして「ｔｅｍｐｏｒａｌ」を出力する。

以上で明らかなように、この実施の形態６によれば、符号化ブロックであるパーティションのブロックサイズに応じて、選択可能な１以上の動きベクトルを決定するように構成したので、周囲のブロックとの相関が低いパーティションでは、予測画像の生成に適する動きベクトル以外の動きベクトルを候補から除くことができるため、処理量の軽減を図ることができる効果を奏する。

また、この実施の形態６によれば、選択可能な１以上の動きベクトルを決定する際、パーティションのブロックサイズが小さい程、選択可能な動きベクトルの候補数を減らすように構成したので、予測画像の生成に適する動きベクトル以外の動きベクトルを候補から除くことができるため、処理量の軽減を図ることができる効果を奏する。

なお、この実施の形態６では、符号化ブロックであるパーティションのブロックサイズが最大で「６４」の例を示したが、最大のブロックサイズが６４以上でもよいし、６４未満でもよい。
図４２は、最大のブロックサイズが「１２８」であるリストの一例を示している。
図４２の例では、符号化制御部１及び動き補償予測部５４により保持されるリストは、最大のブロックサイズが「１２８」であるが、実際のパーティションのブロックサイズの最大が例えば「３２」であるような場合には、上記リストの中の「３２」以下の部分を参照すればよい。

また、この実施の形態６では、符号化ブロックであるパーティションのブロックサイズに応じて、選択可能な１以上の動きベクトルを決定するものを示したが、符号化ブロックの分割パターンに応じて、選択可能な１以上の動きベクトルを決定するようにしてもよく、同様の効果を得ることができる。
図４３は符号化ブロックの分割パターン毎に、選択可能な１以上の動きベクトルを示すリストの説明図である。
例えば、符号化ブロックであるパーティションが、２ｐａｒｔＨ１である場合、選択可能な１以上の動きベクトルとして、「ＭＶ＿Ａ」、「ＭＶ＿Ｂ」、「ＭＶ＿Ｃ」、「ｔｅｍｐｏｒａｌ」を定めているが、符号化ブロックであるパーティションが、２ｐａｒｔＨ２である場合、左のブロックである２ｐａｒｔＨ１とは動きが異なる可能性が高い。
そのため、２ｐａｒｔＨ２が選択可能な１以上の動きベクトルの中から、左のブロックの動きベクトルである「ＭＶ＿Ａ」を削除して、「ＭＶ＿Ｂ」、「ＭＶ＿Ｃ」、「ｔｅｍｐｏｒａｌ」を定めている。

また、この実施の形態６では、時間方向のベクトルを用いているが、これは使用するメモリ量を削減するために、メモリに格納するデータサイズを圧縮してもよい。例えば最小ブロックサイズが４×４である場合、時間方向のベクトルは４×４単位で保持するのが通常であるが、これをさらに大きいブロックサイズで保持することが考えられる。

上記のように時間方向のベクトルを圧縮して保持するとき、保持する単位よりも小さいブロックサイズで処理を行う場合、参照する位置が正しい位置を示さなくなるという問題がある。そのため、保持する単位よりも小さいブロックの場合の時間方向ベクトルを使用しない、という処理を行ってもよい。精度の低いベクトルを候補から外すことで、処理量の削減とインデックス符号量の削減という効果がある。

また、この実施の形態６では、ダイレクトモードベクトルについて述べたが、これは通常の動きベクトル符号化に用いる予測ベクトルの決定に対して、同様の方式を用いてもよい。この方式を用いることで、処理量軽減と符号化効率改善の両面で効果がある。

また、この実施の形態６で、ダイレクトベクトルの生成あるいは予測ベクトルの決定に用いる複数のベクトル候補に対して、ダイレクトベクトルあるいは予測したいベクトルのｒｅｆ＿Ｉｄｘと候補ベクトルのｒｅｆ＿Ｉｄｘが異なる（参照先のピクチャが異なる）場合に、図１４に示すように、候補ベクトルに対して時間方向の距離に応じてスケーリング処理を行うように構成してもよい。ｒｅｆ＿Ｉｄｘが同じ場合は、時間方向の距離に応じたスケーリング処理は行わない。

ただし、ｓｃａｌｅｄ＿ＭＶはスケーリング後のベクトル、ＭＶはスケーリング前の動きベクトル、ｄ（ｘ）はｘまでの時間的な距離を示している。
また、Ｘｒは符号化対象のブロックが示す参照画像、Ｙｒはスケーリングの対象となるブロック位置Ａ−Ｄが示す参照画像を示している。

また、空間ベクトル候補は、図４９に示すように、対象となるブロックからインター符号化されているブロックを探索し、そのブロック内に含まれる全てのベクトルを候補として使用するように構成してもよい。上述のように、ダイレクトベクトルあるいは予測したいベクトルの指すべき先の参照ピクチャと、これら候補ベクトルの指す参照ピクチャが同一の場合と異なる場合があり得るが、同一の参照ピクチャを指す候補ベクトルだけを候補として使用するように構成してもよいし、スケーリング処理で同一参照ピクチャを指すように補正を行うように構成してもよい。前者の場合は処理量を増やさずに精度の低いベクトルを候補から外す効果がある。後者の場合は、探索する分処理量は増えるが、選択候補を増やすことができるため符号量削減効果がある。

また、式（１６）のようなスケーリングを行う場合、インター符号化されているブロックを見つけた時点で、ダイレクトベクトルあるいは予測したいベクトルのｒｅｆ＿Ｉｄｘとは異なるｒｅｆ＿Ｉｄｘである候補ベクトルはスケーリングを行う（同じｒｅｆ＿Ｉｄｘの場合はスケーリングを行わない）としてもよいし、すべて探索した後で、同じｒｅｆ＿Ｉｄｘである候補ベクトルがなかった場合のみスケーリングを行うとしてもよい。処理量は増えるものの精度を高めたベクトルを候補に加えることが可能となるため、符号量削減効果がある。

実施の形態７．
上記実施の形態６では、動画像符号化装置の符号化制御部１及び動画像復号装置の動き補償予測部５４が、予め、選択可能な動きベクトルを示すリストを保持しているものを示したが、動画像符号化装置の可変長符号化部１３が、そのリストを示すリスト情報を可変長符号化し、そのリスト情報の符号化データを、例えば、スライスヘッダに多重して、動画像復号装置側に伝送するようにしてもよい。
この場合、動画像復号装置の可変長復号部５１は、スライスヘッダに多重されている符号化データからリスト情報を可変長復号して、そのリスト情報が示すリストを動き補償予測部５４のダイレクトベクトル生成部６５に出力することになる。

このように、リストを示すリスト情報をスライス単位（あるいは、シーケンスやピクチャ単位などでもよい）で動画像復号装置側に伝送するようにしてもよいが、符号化制御部１により保持されているリストが変更された場合にだけ、変更後のリストを示すリスト情報を動画像復号装置側に伝送するようにしてもよい。
以下、具体的に処理内容を説明する。
図４４は動画像符号化装置におけるリスト情報の送信処理を示すフローチャートであり、図４５は動画像復号装置におけるリスト情報の受信処理を示すフローチャートである。

動画像符号化装置の符号化制御部１は、上記実施の形態６と同様に、符号化ブロックであるパーティションのブロックサイズに応じて、選択可能な１以上の動きベクトルを決定するが、動きベクトルを決定する際に参照するリストが変更されているか否かを確認し、リストが前回と同じであれば（図４４のステップＳＴ４１）、前回とリストが同じである旨を動画像復号装置側に通知するため、変更フラグを“オフ”に設定する（ステップＳＴ４２）。
可変長符号化部１３は、符号化制御部１が変更フラグを“オフ”に設定すると、“オフ”の変更フラグを符号化して、その符号化データを動画像復号装置側に伝送する（ステップＳＴ４３）。

符号化制御部１は、前回とリストが異なる場合（ステップＳＴ４１）、前回とリストが異なる旨を動画像復号装置側に通知するため、変更フラグを“オン”に設定する（ステップＳＴ４４）。
可変長符号化部１３は、符号化制御部１が変更フラグを“オン”に設定すると、“オン”の変更フラグと変更後のリストを示すリスト情報を符号化して、その符号化データを動画像復号装置側に伝送する（ステップＳＴ４５）。
図４６はリスト内の「ｔｅｍｐｏｒａｌ」が選択可から選択不可に変更されているために、“オン”の変更フラグと変更後のリストを示すリスト情報を符号化している例を示している。

動画像復号装置の可変長復号部５１は、符号化データから変更フラグを復号し（図４５のステップＳＴ５１）、その変更フラグが“オフ”であれば（ステップＳＴ５２）、“オフ”の変更フラグを動き補償予測部５４に出力する。
動き補償予測部５４は、可変長復号部５１から“オフ”の変更フラグを受けると、前回とリストが同じであると認識し、現在保持しているリストを参照対象に設定する（ステップＳＴ５３）。
したがって、動き補償予測部５４は、現在保持しているリストを参照して、今回復号を行うパーティションのブロックサイズに対応する１以上の動きベクトルを決定する。

動画像復号装置の可変長復号部５１は、変更フラグが“オン”であれば（ステップＳＴ５２）、符号化データからリスト情報を復号し、“オン”の変更フラグとリスト情報を動き補償予測部５４に出力する（ステップＳＴ５４）。
動き補償予測部５４は、可変長復号部５１から“オン”の変更フラグとリスト情報を受けると、前回とリストが異なると認識し、そのリスト情報にしたがって現在保持しているリストを変更して、変更後のリストを参照対象に設定する（ステップＳＴ５５）。
したがって、動き補償予測部５４は、変更後のリストを参照して、今回復号を行うパーティションのブロックサイズに対応する１以上の動きベクトルを決定する。
図４７は変更フラグが“オン”であるため、現在保持しているリストを変更している例を示している。

以上で明らかなように、この実施の形態７によれば、選択可能な１以上の動きベクトルを示すリストが変更された場合に限り、変更後のリストを示すリスト情報を符号化して符号化データを生成するように構成したので、符号量の大幅な増加を招くことなく、リストの変更を受け付ける機能を実装することができる効果を奏する。

この実施の形態７では、リストが示す選択可能な動きベクトルの一部が変更された場合でも、変更後のリストの全体を示すリスト情報を符号化する例を示したが、図４８に示すように、ブロックサイズ毎に変更フラグを用意し、選択可能な動きベクトルが変更されたブロックサイズの変更フラグを“オン”にして、当該ブロックサイズに係るリスト情報だけを符号化するようにしてもよい。
図４８の例では、ブロックサイズが「６４」と「８」における動きベクトルは変更されていないため、変更フラグは“オフ”であり、当該ブロックサイズに係るリスト情報は符号化されない。
一方、ブロックサイズが「３２」と「１６」における動きベクトルは変更されているため、変更フラグは“オン”であり、当該ブロックサイズに係るリスト情報は符号化されている。
なお、いずれかのブロックサイズの変更フラグが“オン”である場合に限り、ブロックサイズ単位の変更フラグを符号化するようにして、いずれのブロックサイズの変更フラグも“オフ”である場合には、リスト単位の変更フラグ（“オフ”の変更フラグ）だけを符号化するようにしてもよい。
また、リスト単位の変更フラグを用いずに、ブロックサイズ単位の変更フラグだけを符号化するようにしてもよい。

ここでは、ブロックサイズ毎に、選択可能な動きベクトルを変更できる例を示したが、符号化ブロックの分割パターン毎に、選択可能な動きベクトルを変更できるようにしてもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（イントラ予測手段、動き補償予測手段）、４ イントラ予測部（イントラ予測手段）、５ 動き補償予測部（動き補償予測手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 切替スイッチ、２２ 動きベクトル探索部、２３ ダイレクトベクトル生成部、２４ 動き補償処理部、２５，２６，２７ ダイレクトベクトル生成部、３１ 空間ダイレクトベクトル生成部、３２ 時間ダイレクトベクトル生成部、３３ ダイレクトベクトル判定部、３４，３６，３７ 初期ベクトル生成部、３５ 動きベクトル探索部、４１ 動き補償部、４２ 類似度算出部、４３ ダイレクトベクトル選択部、５１ 可変長復号部（可変長復号手段）、５２ 切替スイッチ（イントラ予測手段、動き補償予測手段）、５３ イントラ予測部（イントラ予測手段）、５４ 動き補償予測部（動き補償予測手段）、５５ 逆量子化・逆変換部（差分画像生成手段）、５６ 加算部（復号画像生成手段）、５７ イントラ予測用メモリ、５８ ループフィルタ部、５９ 動き補償予測フレームメモリ、６１ 切替スイッチ、６２ ダイレクトベクトル生成部、６３ 動き補償処理部、６４，６５，６６ ダイレクトベクトル生成部、７１ 空間ベクトル生成部、７２ 時間ベクトル生成部、７３ 初期ベクトル判定部、８１ 動き補償部、８２ 類似度算出部、８３ 初期ベクトル決定部、９１ 切替スイッチ。

Claims (4)

1. 最大ブロックサイズと階層数の上限値により入力画像を階層的に分割することで得られる符号化ブロックに係わる圧縮データ、符号化ブロックに係わる符号化モード及び動きベクトルを指定するための符号化ブロックに係わるインデックス情報、および当該インデックス情報に基づき選択される動きベクトル候補の数を変更するための制御情報が含まれるビットストリームに多重化されている符号化データに可変長復号処理を行う可変長復号部と、
   上記インデックス情報に基づいて、１以上の動きベクトル候補の中から動きベクトルを選択し、選択された動きベクトルを用いて上記符号化ブロックに対し、動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、を備え、
   上記動き補償予測部は、上記インデックス情報に基づいて、上記符号化ブロックの周囲に位置する複数の復号済みブロックの動きベクトル候補から得られる空間動きベクトル、または上記符号化ブロックが参照可能な復号済みピクチャの動きベクトルから得られる時間動きベクトルを選択し、
   上記動き補償予測部は、上記制御情報に基づいて、上記符号化ブロックの周囲に位置する複数の復号済みブロックから得られる空間動きベクトル、および上記符号化ブロックが参照可能な復号化済みピクチャの動きベクトルから得られる時間動きベクトルの少なくともいずれかを含む上記動きベクトル候補のリストを用意し、
   上記動きベクトル候補は所定の順番でリスト化され、
   上記動きベクトル候補の数はスライス単位で変更可能である、
   ことを特徴とする動画像復号装置。
2. 符号化ブロックの周囲に位置する複数の符号化済みブロックから得られる空間動きベクトル、および上記符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから得られる時間動きベクトルから動きベクトル候補を用意し、上記動きベクトル候補の中から選択された動きベクトルを用いて上記符号化ブロックに対し、動き補償予測処理を実施して予測画像を生成する動き補償予測部と、
   選択された動きベクトル候補を示すインデックス情報と、上記可変長符号化部は上記動きベクトル候補の数を変更するための制御情報とを含むビットストリームを生成する可変長符号化部と、を備え、
   上記動き補償予測部は、上記空間動きベクトルまたは上記時間動きベクトルから上記動きベクトル候補のリストを用意し、上記動きベクトル候補は所定の順番でリスト化され、
   上記動きベクトル候補の数はスライス毎に変更可能である、
   ことを特徴とする動画像符号化装置。
3. 予測画像を生成する際に実施された予測処理を示す符号化モードと、
   予測画像と原画像との差分を圧縮処理して生成された圧縮データと、
   上記予測画像を生成するための動き補償予測処理に用いられる動きベクトルに係わるインデックス情報と、
   上記インデックス情報に基づいて選択される動きベクトル候補の数をスライスごとに変更するための制御情報と、
   を備え、
   上記インデックス情報および上記制御情報を用いた動き補償予測処理を実施して、上記予測画像を生成するとともに、上記差分と上記予測画像とに基づいて復号画像を生成する動画像復号装置によって復号される動画像符号化データであって、
   上記動画像符号化データは、複数の符号化ブロックの符号化データが多重化されており、
   各々の上記符号化データは、上記符号化モードと、上記圧縮データとを含み、
   上記インデックス情報は、上記動きベクトルが、上記符号化ブロックの周囲に位置する複数の符号化済みブロックから得られる空間動きベクトル、および上記符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから得られる時間動きベクトルの少なくともいずれかを含む動きベクトル候補から選択されたものである場合、上記動画像復号装置が選択された動きベクトル候補を特定する処理に用いられ、
   上記動きベクトル候補は所定の順番でリスト化され、
   上記動きベクトル候補はスライス単位で変更可能であり、
   上記制御情報は、上記動画像復号装置が上記動きベクトル候補の数を変更する処理に用いられる、
   ことを特徴とする動画像符号データ。
4. 予測画像を生成する際に実施された予測処理を示す符号化モードと、
   予測画像と原画像との差分を圧縮処理して生成された圧縮データと、
   上記予測画像を生成するための動き補償予測処理に用いられる動きベクトルに係わるインデックス情報と、
   上記インデックス情報に基づいて選択される動きベクトル候補の数をスライスごとに変更するための制御情報と、
   を備え、
   上記インデックス情報および上記制御情報を用いた動き補償予測処理を実施して、上記予測画像を生成するとともに、上記差分と上記予測画像とに基づいて復号画像を生成する動画像復号装置によって復号される動画像符号化データを記録した記録媒体であって、
   上記動画像符号化データは、複数の符号化ブロックの符号化データが多重化されており、
   各々の上記符号化データは、上記符号化モードと、上記圧縮データとを含み、
   上記インデックス情報は、上記動きベクトルが、上記符号化ブロックの周囲に位置する複数の符号化済みブロックから得られる空間動きベクトル、および上記符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから得られる時間動きベクトルの少なくともいずれかを含む動きベクトル候補から選択されたものである場合、上記動画像復号装置が選択された動きベクトル候補を特定する処理に用いられ、
   上記動きベクトル候補は所定の順番でリスト化され、
   上記動きベクトル候補はスライス単位で変更可能であり、
   上記制御情報は、上記動画像復号装置が上記動きベクトル候補の数を変更する処理に用いられる、
   コンピューターで実行可能なビットストリームが記録されたコンピューター読み取り可能な記録媒体。

Images