JP2011082725A - 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム - Google Patents

Abstract

【課題】小数精度の動き補償において，画像の局所的性質に応じた補間フィルタの切り替えにより，予測誤差エネルギーを低減し，符号化効率の改善を図る。
【解決手段】領域分割部１１により符号化対象フレームをブロックの位置または動きベクトルなどの分類に基づいて複数の領域に分割し，補間フィルタ係数切り替え部１２によって，各領域ごとに予測符号化における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替える。予測信号生成部１３で補間フィルタを用いて参照画像の小数精度画素の補間を行い，小数精度の動き補償により予測信号を生成して，予測符号化部１４により符号化対象ブロックの予測符号化を行う。
【選択図】図９

Description

本発明は，動き補償を用いる映像符号化における補間フィルタの性能改善を図り，符号化効率を改善させる小数位置画素補間フィルタの画面内切り替え機能を有する映像符号化，映像復号の技術に関するものである。

映像符号化において，異なる画面間で予測を実行する画面間予測（動き補償）符号化では，符号化対象の画像に対して，すでに復号されたフレームを参照して，予測誤差エネルギーなどを最小にするように動きベクトルが求められ，その残差信号が直交変換され，量子化が施され，エントロピー符号化を経て，符号化結果をバイナリーデータとして出力する。このような符号化において符号化効率を高めるためには，予測誤差エネルギーの低減が不可欠であり，より精度の高い予測方式が求められる。

映像符号化標準方式には，数多くの画面間予測の精度を高めるためのツールが導入されている。例えばＨ．２６４／ＡＶＣでは，直近のフレームにオクルージョンが存在する場合は，時間的に少し離れたフレームを参照したほうが予測誤差エネルギーを低減できるため，複数のフレームを参照可能としている。本ツールを複数参照フレーム予測と呼ぶ。

また，複雑な形状の動きにも対応可能とするために，１６×１６および８×８のブロックサイズに加えて，１６×８，８×１６，８×４，４×８，４×４のように，ブロックサイズを細かく分割可能としている。本ツールを可変ブロックサイズ予測と呼ぶ。

これらと同様に，画面間予測の精度を高めるため，参照フレームの整数精度画素から６ｔａｐのフィルタを用いて１／２精度の画素を補間し，さらにその画素を利用して１／４精度の画素を線形補間で生成する予測方式も用いられている。これにより，非整数精度の動きに対して予測が当たるようになる。本ツールを１／４画素精度予測と呼ぶ。

Ｈ．２６４／ＡＶＣよりも符号化効率の高い次世代映像符号化標準方式の策定に向け，国際標準化組織ＩＳＯ／ＩＥＣ“ＭＰＥＧ”やＩＴＵ−Ｔ“ＶＣＥＧ”において，現在世界各国から様々な提案が集められている。その中で特に画面間予測（動き補償）に関連する提案は多くなされており，ＶＣＥＧが主導で作成している次世代映像符号化向けソフトウェア（以下，ＫＴＡ（Key Technical Area）ソフトウェア）には，動きベクトルの符号量を削減するツールや，ブロックサイズを１６×１６以上に拡張するツールが採用されている。特に小数精度画素の補間フィルタ係数を適応的に変化させるツールは適応補間フィルタと呼ばれ，すべての画像で効果があり，最初にＫＴＡソフトウェアに採用されている。予測精度を向上させる効果も高いため，今後，補間フィルタに関する改善は非常に期待される領域と考えられる。

従来の補間フィルタについて，さらに詳しく説明する。

〔固定的補間〕
図１および図２は，従来方式による非整数精度の画素補間方法を示す図である。

過去の映像符号化標準方式ＭＰＥＧ−１／２／４においては，図１に示されるように，１／２精度の画素を補間するために，両隣の２点の整数画素から加算平均を用いて補間画素の画素値を生成していた。すなわち，２点の整数画素に対して，［１／２，１／２］の平均値フィルタを施していることになる。非常に単純な処理のため，計算複雑度の観点からみると効果的であるが，１／４精度の画素を求める上ではフィルタの性能としては高くはない。

一方，Ｈ．２６４／ＡＶＣにおいては，１／２精度の画素を補間するときに，対象となる補間画素の左右３点ずつ計６整数画素を用いて補間を行う。Ｈ．２６４／ＡＶＣの補間処理の一例を図２に示す。垂直方向については上下３点ずつ計６整数画素を用いて補間する。フィルタ係数は，それぞれ［（１，−５，２０，２０，−５，１）／３２］となっている。１／２精度の画素が補間された後，１／４精度の画素は［１／２，１／２］の平均値フィルタを用いて補間を行う。一度，１／２精度画素をすべて補間して求める必要があるため，計算複雑度は高いものの，より性能の高い補間が可能となり，符号化効率向上を導いている。

以上の固定フィルタによる補間の技術は，例えば下記の非特許文献１，非特許文献２，非特許文献３等に示されている。

〔適応的補間〕
Ｈ．２６４／ＡＶＣでは，入力画像条件（シーケンス種類／画像サイズ／フレームレート）や符号化条件（ブロックサイズ／ＧＯＰ構造／ＱＰ）にかかわらず，フィルタ係数値は一定である。フィルタ係数値が固定である場合，例えば，エイリアシング，量子化誤差，動き推定による誤差，カメラノイズといった時間的に変化する効果が考慮されていない。したがって，符号化効率の点で性能向上に限界があると考えられる。そこで，補間フィルタ係数を適応的に変化させる方式が，非特許文献４では提案されており，非分離型の適応補間フィルタと呼ばれている。

本方式では，２次元の補間フィルタ（６×６の計３６フィルタ係数）を考えており，予測誤差エネルギーを最小にするようにフィルタ係数が決定される。Ｈ．２６４／ＡＶＣに用いられている１次元６ｔａｐの固定補間フィルタを用いるよりも高い符号化効率が実現できたが，フィルタ係数を求める上での計算複雑度が非常に高いため，その計算複雑度を低減するための提案が，非特許文献５で紹介されている。

非特許文献５で紹介されている手法は分離型適応補間フィルタ（ＳＡＩＦ：Separable Adaptive Interpolation Filter ）と呼ばれ，２次元の補間フィルタを用いるのではなく，１次元の６ｔａｐ補間フィルタを用いる。

図３は，分離型適応補間フィルタ（ＳＡＩＦ）における非整数精度の画素補間方法を示す図である。手順としては，図３（Ｂ）のＳｔｅｐ１に示すように，まず水平方向の画素（ａ，ｂ，ｃ）を補間する。フィルタ係数の決定には，整数精度画素Ｃ１からＣ６が用いられる。式（１）の予測誤差エネルギー関数Ｅ_h ² を最小化するような水平方向フィルタ係数が，一般に知られた最小二乗法（非特許文献４参照）により，解析的に決定される。

ここで，Ｓは原画像，Ｐは復号済み参照画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ（〜はｘの上に付く記号；他も同様）は，
〜ｘ＝ｘ＋ＭＶ_x −ＦｉｌｔｅｒＯｆｆｓｅｔ
であり，ＭＶ_x は事前に得られた動きベクトルの水平成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（水平方向フィルタ長を２で割った値）を示している。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y となり，ＭＶ_y は動きベクトルの垂直成分を示す。ｗ_ciは求めるべき水平方向フィルタ係数群ｃ_i （０≦ｃ_i ＜６）を示す。

式（１）の導関数から求めるフィルタ係数と同じ数の一次方程式が得られることになり，最小化処理は，水平方向の各小数画素位置ごとに独立に実施される。この最小化処理を経て，３種類の６ｔａｐフィルタ係数群が求まり，そのフィルタ係数を用いて小数画素ａ，ｂ，ｃが補間される。

水平方向の画素補間が完了した後，図３（Ｃ）のＳｔｅｐ２に示すように，垂直方向の補間処理を実施する。水平方向と同様の線形問題を解くことで垂直方向のフィルタ係数を決定する。具体的には，式（２）の予測誤差エネルギー関数Ｅ_v ² を最小化するような垂直方向フィルタ係数が，解析的に決定される。

ここで，Ｓは原画像，＾Ｐ（＾はＰの上に付く記号）は復号後に水平方向に補間処理された画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝４・（ｘ＋ＭＶ_x ）で表現され，ＭＶ_x は丸められた動きベクトルの水平成分を示す。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y −ＦｉｌｔｅｒＯｆｆｓｅｔで表現され，ＭＶ_y は動きベクトルの垂直成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（フィルタ長を２で割った値）を示す。ｗ_cjは求めるべき垂直方向フィルタ係数群ｃ_j （０≦ｃ_j ＜６）を示す。

最小化処理は各小数精度画素ごとに独立に実施され，１２種類の６ｔａｐフィルタが得られる。このフィルタ係数を用いて，残りの小数精度画素が補間される。

以上により，合計９０（＝６×１５）のフィルタ係数を符号化して復号側に伝送する必要がある。特に低解像度の符号化については，このオーバーヘッドが大きくなるため，フィルタの対称性を用いて，伝送すべきフィルタ係数を削減している。例えば，図３では，ｂ，ｈ，ｉ，ｊ，ｋの位置は各整数精度画素から中心に位置しており，水平方向であれば，左３点に用いる係数を反転させて右３点に適用できる。同様に，垂直方向であれば，上３点に用いる係数を反転させて下３点に適用できる（ｃ₁ ＝ｃ₆ ，ｃ₂ ＝ｃ₅ ，ｃ₃ ＝ｃ₄ ）。

他にもｄとｌの関係はｈを挟んで対称となっているため，フィルタ係数もそれぞれ反転して利用できる。すなわち，ｄの６係数を伝送すれば，その値をｌにも適用できる。ｃ（ｄ）₁ ＝ｃ（ｌ）₆ ，ｃ（ｄ）₂ ＝ｃ（ｌ）₅ ，ｃ（ｄ）₃ ＝ｃ（ｌ）₄ ，ｃ（ｄ）₄ ＝ｃ（ｌ）₃ ，ｃ（ｄ）₅ ＝ｃ（ｌ）₂ ，ｃ（ｄ）₆ ＝ ｃ（ｌ）₁ となる。この対称性は，ｅとｍ，ｆとｎ，そしてｇとｏにも利用可能となる。ａとｃについても同様の理論が成立するが，水平方向は垂直方向の補間にも結果が影響を及ぼすため，対称性は用いずに，ａとｃはそれぞれ別々に伝送を行う。以上の対称性を利用した結果，フレームごとに伝送すべきフィルタ係数は５１（水平方向が１５，垂直方向が３６）となる。

原島博，酒井善則，吉田俊之，"映像情報符号化"，オーム社，pp.135-136，2001 大久保榮，角野眞也，菊池義浩，鈴木輝彦，"Ｈ．２６４／ＡＶＣ教科書改訂三版"，インプレス，pp.119-123，2009 I. E. G. Richardson ，G. J. Sullivan，"H.264 and MPEG-4 VIDEO COMPRESSION"，WILEY ，pp.172-175，2003 Y. Vatis，B. Edler，D. T. Nguyen，J. Ostermann，"Motion-and aliasing-compensated prediction using a two-dimensional non-separable adaptive Wiener interpolation filter "，Proc. ICIP2005，IEEE International Conference on Image Processing ，pp.II 894-897, Genova, Italy，September 2005 S. Wittmann ，T. Wedi ，"Separable adaptive interpolation filter for video coding"，Proc. ICIP2008，IEEE International Conference on Image Processing ，pp. 2500-2503 ，San Diego ，California，USA ，October 2008

従来の適応補間フィルタでは，予測誤差エネルギーの最小化処理の単位がフレームで固定されていた。１枚のフレームに対して，５１のフィルタ係数が決定される。符号化対象フレームが仮に大きな２種類（もしくは複数種類）のテクスチャ領域（Ａの領域とＢの領域）に分けられる場合，最適なフィルタ係数はその両者（すべてのテクスチャ）を考慮した係数群になる。Ａの領域では本来垂直方向のみ特徴的なフィルタ係数が出ていたとして，Ｂの領域で水平方向のみフィルタ係数が得られるような状況では，その両方が平均化された形でフィルタ係数が導出される。

本発明の目的は，画像の有する局所性（局所的性質）を考慮して，フィルタ係数の最小化単位をフレーム内で調整可能とし，フレーム内で複数のフィルタ係数群を切り替えることで予測誤差エネルギーを削減して，符号化効率の向上を図ることにある。適応補間フィルタの性質上，ループ内フィルタであるため，１枚のフレームが改善するならば，そのフレームを参照する後続のフレームにも改善が波及すると考えられる。ＧＯＰ構造にも依存するが，適応補間フィルタの改善は効果が期待できる領域と言える。

上記目的を達成するための方法として，本発明は，１枚のフレームにつき１つのフィルタ係数群（５１係数）に限定されずに，画像の局所的性質に応じて，複数のフィルタ係数群を用意して切り替えることで，予測誤差エネルギーの低減を達成し，符号化効率の改善を実現する。

図４は，従来の適応補間フィルタと本発明において提案する適応補間フィルタとの特徴の違いを示す図である。図４に示されるように，符号化対象フレームが性質の異なるテクスチャを含む場合を想定する。従来の適応補間フィルタでは，図４（Ａ）のように，１フレームに対して１つのフィルタ係数群が用いられていた。これに対し，本発明では，図４（Ｂ）のように，１フレームに対し，複数のフィルタ係数群が用いられるようにする。

フレーム全体として１つのフィルタ係数群を最適化して送る場合，各テクスチャの性質すべてを考慮することになる。テクスチャがあまり変わらない場合，全体最適化によるフィルタ係数が最良と考えられるが，相反する性質を有するテクスチャであった場合，そのテクスチャごとに最適化したフィルタ係数を用いるほうが，フレーム全体の符号量を削減できると考えられる。

フィルタ係数群は，あらかじめ定められたフレーム内の領域の位置に応じて切り替えることができるが，さらにフィルタ係数を切り替えるための手段として，例えば動き情報（動きベクトル）などを利用することもできる。小数精度画素の生成により，整数精度画素だけではマッチが取れない場合に，補間フィルタの有効性が表れる。すなわち，画像の左側で水平方向の動きが細かく，画像の右側で垂直方向の動きが細かい場合，左側では水平方向をカバーできるようなフィルタ係数群，右側では垂直方向をカバーできるような係数群を用意して適用することにより，さらに効率が向上すると考えられる。

本発明の作用は，以下のとおりである。従来の分離型適応補間フィルタでは，フレームに対して１種類のフィルタ係数群しか用意できず，フレーム内部で大きく性質が異なる場合には符号化効率の改善に限界があった。一方，本発明では，フレーム内部でフィルタ係数の切り替え機能を備えることにより，画像の局所性に応じて最適なフィルタ係数を用意し，更なる符号化効率改善が達成できる。

本発明によれば，従来の分離型適応補間フィルタでは対応できなかった画像の局所的性質に応じたフィルタ切り替えが可能となり，予測誤差エネルギーの低減による符号化効率改善が可能となる。

過去の映像符号化標準方式における非整数精度の画素補間方法を示す図である。 Ｈ．２６４／ＡＶＣにおける非整数精度の画素補間方法を示す図である。 分離型適応補間フィルタ（ＳＡＩＦ）における非整数精度の画素補間方法を示す図である。 従来の適応補間フィルタと本発明において提案する適応補間フィルタとの特徴の違いを示す図である。 適応補間フィルタの画面内切り替えによる符号化の処理フローチャートである。 適応補間フィルタの画面内切り替えによる符号化の処理フローチャートである。 領域統合機能を有する適応補間フィルタの画面内切り替えによる符号化の処理フローチャートである。 分割領域の統合を説明するための図である。 適応補間フィルタの画面内切り替えによる符号化処理を実行する映像符号化装置の構成例を示す図である。 他の映像符号化装置の構成例の一部を示す図である。 適応補間フィルタの画面内切り替えによる符号化に対する復号処理フローチャートである。 適応補間フィルタの画面内切り替えによる符号化に対する復号処理フローチャートである。 領域統合機能を有する適応補間フィルタの画面内切り替えによる符号化に対する復号処理フローチャートである。 適応補間フィルタの画面内切り替えによる符号化に対する復号処理を実行する映像復号装置の構成例を示す図である。 従来手法と本手法とによるレート歪み特性の比較を示す図である。 従来手法と本手法とによるレート歪み特性の比較を示す図である。 従来手法と本手法とによるレート歪み特性の比較を示す図である。

以下，図面を用いながら，本発明の実施の形態を説明する。

〔第１の例〕
図５は，第１の例による適応補間フィルタの画面内切り替えによる符号化の処理フローチャートである。１枚のフレームを符号化する場合の，第１の例による具体的な処理の流れを，図５に従って説明する。以下では，特に断りがない限り，輝度信号での処理を仮定する。

ステップＳ１０１にて，フレームをブロック（例えば，１６×１６や８×８といった従来の動き予測のブロックサイズ）に分割し，ブロック単位で最適な動きベクトルを算出する。ステップＳ１０１における参照画像の小数精度画素の補間には，従来のＨ．２６４／ＡＶＣによる固定６ｔａｐフィルタを用いる。

続いて，ステップＳ１０２にて，ブロック位置情報からブロックの分類を実施する。具体的には，［表１］に示す形で４種類に分類して，領域分割を行う。［表１］では，Ｌ_x およびＬ_y はブロック基準による画面の水平方向および垂直方向の大きさを意味する。

続いて，ステップＳ１０３にて，ステップＳ１０２の領域分割の結果から，領域ごとに最適化処理を行う。予測誤差エネルギー関数である式（３）を用いて，水平方向の各小数精度画素に対する補間フィルタ係数の最適化処理を行う。

ここで，α（１≦α≦４）は分類された領域番号，Ｓは原画像，Ｐは復号済み参照画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝ｘ＋ＭＶ_x −ＦｉｌｔｅｒＯｆｆｓｅｔであり，ＭＶ_x は事前に得られた動きベクトルの水平成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（水平方向フィルタ長を２で割った値）を示している。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y となり，ＭＶ_y は動きベクトルの垂直成分を示す。ｗ_ciは求めるべき水平方向フィルタ係数群ｃ_i （０≦ｃ_i ＜６）を示す。

続いて，ステップＳ１０４にて，ステップＳ１０３で得られた４種類の水平方向の補間フィルタ係数を用いて，フレーム内の各領域ごとに独立して，水平方向の小数画素補間（図３におけるａ，ｂ，ｃの補間）を実施する。

続いて，ステップＳ１０５にて，垂直方向の補間フィルタ係数の最適化処理を実施する。垂直方向の予測誤差エネルギー関数である式（４）を用いて，垂直方向の各小数画素に対する補間フィルタ係数の最適化処理を行う。

ここで，α（１≦α≦４）は分類された領域番号，Ｓは原画像，＾ＰはステップＳ１０４にて水平方向に補間処理された画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝４・（ｘ＋ＭＶ_x ）で表現され，ＭＶ_x は丸められた動きベクトルの水平成分を示す。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y −ＦｉｌｔｅｒＯｆｆｓｅｔで表現され，ＭＶ_y は動きベクトルの垂直成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（フィルタ長を２で割った値）を示す。ｗ_cjは求めるべき垂直方向フィルタ係数群ｃ_j （０≦ｃ_j ＜６）を示す。

続いて，ステップＳ１０６にて，ステップＳ１０５で得られた４種類の垂直方向の補間フィルタ係数を用いて，フレーム内の各領域ごとに独立して，垂直方向の小数画素補間（図３におけるｄ〜ｏの補間）を実施する。

続いて，ステップＳ１０７にて，ステップＳ１０６で得られた垂直方向に補間された画像を参照画像として，再度動きベクトルの算出を行う。

続いて，ステップＳ１０８にて，各種補間フィルタ係数群を符号化する。フィルタ係数の情報は，スライスヘッダなどのヘッダファイルに挿入する。

続いて，ステップＳ１０９にて，ブロック単位で残りの情報（動きベクトル，ＤＣＴ係数など）の符号化を行う。

なお，本例で述べている補間フィルタ係数の切り替え機能は，輝度信号だけでなく，色差信号にも適用可能である。また，分割数は本例では４としているが，分類の定義によって任意の数を採用することができる。

〔第２の例〕
図６は，第２の例による適応補間フィルタの画面内切り替えによる符号化の処理フローチャートである。１枚のフレームを符号化する場合の，第２の例による具体的な処理の流れを，図６に従って説明する。以下では，特に断りがない限り，輝度信号での処理を仮定する。

ステップＳ２０１にて，フレームをブロック（例えば，１６×１６や８×８といった従来の動き予測のブロックサイズ）に分割し，ブロック単位で最適な動きベクトルを算出する。ステップＳ２０１における参照画像の小数精度画素の補間には，従来のＨ．２６４／ＡＶＣによる固定６ｔａｐフィルタを用いる。

続いて，ステップＳ２０２にて，動きベクトルの成分情報からブロック単位でブロックの分類を実施する。具体的には，動きベクトルの水平成分および垂直成分の値から，［表２］に示す形で４種類に分類して，領域分割を行う。

続いて，ステップＳ２０３にて，ステップＳ２０２の領域分割の結果から，領域ごとに最適化処理を行う。予測誤差エネルギー関数である式（５）を用いて，水平方向の各小数精度画素に対する補間フィルタ係数の最適化処理を行う。

ここで，α（１≦α≦４）は分類された領域番号，Ｓは原画像，Ｐは復号済み参照画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝ｘ＋ＭＶ_x −ＦｉｌｔｅｒＯｆｆｓｅｔであり，ＭＶ_x は事前に得られた動きベクトルの水平成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（水平方向フィルタ長を２で割った値）を示している。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y となり，ＭＶ_y は動きベクトルの垂直成分を示す。ｗ_ciは求めるべき水平方向フィルタ係数群ｃ_i （０≦ｃ_i ＜６）を示す。

続いて，ステップＳ２０４にて，ステップＳ２０３で得られた４種類の水平方向の補間フィルタ係数を用いて，フレーム内の各領域ごとに独立して，水平方向の小数画素補間（図３におけるａ，ｂ，ｃの補間）を実施する。

続いて，ステップＳ２０５にて，垂直方向の補間フィルタ係数の最適化処理を実施する。垂直方向の予測誤差エネルギー関数である式（６）を用いて，垂直方向の各小数画素に対する補間フィルタ係数の最適化処理を行う。

ここで，α（１≦α≦４）は分類された領域番号，Ｓは原画像，＾ＰはステップＳ２０４にて水平方向に補間処理された画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝４・（ｘ＋ＭＶ_x ）で表現され，ＭＶ_x は丸められた動きベクトルの水平成分を示す。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y −ＦｉｌｔｅｒＯｆｆｓｅｔで表現され，ＭＶ_y は動きベクトルの垂直成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（フィルタ長を２で割った値）を示す。ｗ_cjは求めるべき垂直方向フィルタ係数群ｃ_j （０≦ｃ_j ＜６）を示す。

続いて，ステップＳ２０６にて，ステップＳ２０５で得られた４種類の垂直方向の補間フィルタ係数を用いて，フレーム内の各領域ごとに独立して，垂直方向の小数画素補間（図３におけるｄ〜ｏの補間）を実施する。

続いて，ステップＳ２０７にて，ステップＳ２０６で得られた垂直方向に補間された画像を参照画像として，再度動きベクトルの算出を行う。

続いて，ステップＳ２０８にて，各種補間フィルタ係数群を符号化する。フィルタ係数の情報は，スライスヘッダなどのヘッダファイルに挿入する。

続いて，ステップＳ２０９にて，ブロック単位で残りの情報（動きベクトル，ＤＣＴ係数など）の符号化を行う。

なお，本例で述べている補間フィルタ係数の切り替え機能は，輝度信号だけでなく，色差信号にも適用可能である。また，分割数は本例では４としたが，分類の定義によって任意の数を採用することができる。

〔第３の例〕
図７は，第３の例による領域統合機能を有する適応補間フィルタの画面内切り替えによる符号化の処理フローチャートである。１枚のフレームを符号化する場合の，第３の例による具体的な処理の流れを，図７に従って説明する。以下では，特に断りがない限り，輝度信号での処理を仮定する。

ステップＳ３０１にて，フレームをブロック（例えば，１６×１６や８×８といった従来の動き予測のブロックサイズ）に分割し，ブロック単位で最適な動きベクトルを算出する。ステップＳ３０１における参照画像の小数精度画素の補間には，従来のＨ．２６４／ＡＶＣによる固定６ｔａｐフィルタを用いる。

続いて，ステップＳ３０２にて，動きベクトルの成分情報からブロック単位でブロックの分類を実施する。具体的には，動きベクトルの水平成分および垂直成分の値から，［表２］に示す形で４種類に分類して，領域分割を行う。

続いて，ステップＳ３０３にて，ステップＳ３０２で得られた領域分割の結果を分析し，孤立している領域があった場合，一般に知られている孤立点除去アルゴリズムを用いて，孤立している領域を周辺領域と同じ領域に変換する。

領域統合の事例を図８に示す。例えば，図８（Ａ）に示すように，ある着目ブロックのブロックタイプ（領域番号）が「２」であり，周囲のブロックのブロックタイプが「１」であった場合，着目ブロックは孤立している領域であるので，図８（Ｂ）に示すように，その着目ブロックのブロックタイプを「１」に変更する領域統合を行い，領域の分類を修正する。

続いて，ステップＳ３０４にて，ステップＳ３０３の領域分割の結果から，領域ごとに最適化処理を行う。予測誤差エネルギー関数である式（７）を用いて，水平方向の各小数精度画素に対する補間フィルタ係数の最適化処理を行う。

ここで，α（１≦α≦４）は分類された領域番号，Ｓは原画像，Ｐは復号済み参照画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝ｘ＋ＭＶ_x −ＦｉｌｔｅｒＯｆｆｓｅｔであり，ＭＶ_x は事前に得られた動きベクトルの水平成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（水平方向フィルタ長を２で割った値）を示している。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y となり，ＭＶ_y は動きベクトルの垂直成分を示す。ｗ_ciは求めるべき水平方向フィルタ係数群ｃ_i （０≦ｃ_i ＜６）を示す。

続いて，ステップＳ３０５にて，ステップＳ３０４で得られた４種類の水平方向の補間フィルタ係数を用いて，フレーム内の各領域ごとに独立して，水平方向の小数画素補間（図３におけるａ，ｂ，ｃの補間）を実施する。

続いて，ステップＳ３０６にて，垂直方向の補間フィルタ係数の最適化処理を実施する。垂直方向の予測誤差エネルギー関数である式（８）を用いて，垂直方向の各小数画素に対する補間フィルタ係数の最適化処理を行う。

ここで，α（１≦α≦４）は分類された領域番号，Ｓは原画像，＾ＰはステップＳ３０５にて水平方向に補間処理された画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝４・（ｘ＋ＭＶ_x ）で表現され，ＭＶｘは丸められた動きベクトルの水平成分を示す。垂直方向については，〜ｙ＝ｙ＋ＭＶ_y −ＦｉｌｔｅｒＯｆｆｓｅｔで表現され，ＭＶ_y は動きベクトルの垂直成分，ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（フィルタ長を２で割った値）を示す。ｗ_cjは求めるべき垂直方向フィルタ係数群ｃ_j （０≦ｃ_j ＜６）を示す。

続いて，ステップＳ３０７にて，ステップＳ３０６で得られた４種類の垂直方向の補間フィルタ係数を用いて，フレーム内の各領域ごとに独立して，垂直方向の小数画素補間（図３におけるｄ〜ｏの補間）を実施する。

続いて，ステップＳ３０８にて，ステップＳ３０７で得られた垂直方向に補間された画像を参照画像として，再度動きベクトルの算出を行う。

続いて，ステップＳ３０９にて，各種補間フィルタ係数群を符号化する。フィルタ係数の情報は，スライスヘッダなどのヘッダファイルに挿入する。

続いて，ステップＳ３１０にて，ブロック単位で残りの情報（動きベクトル，ＤＣＴ係数など）の符号化を行う。

なお，本例で述べている補間フィルタ係数の切り替え機能は，輝度信号だけでなく，色差信号にも適用可能である。また，分割数は本例では４としたが，分類の定義によって任意の数を採用することができる。

〔映像符号化装置の構成例〕
図９は，適応補間フィルタの画面内切り替えによる符号化処理を実行する映像符号化装置の構成例を示す図である。

映像符号化装置１０において，領域分割部１１は，入力した映像信号の符号化対象フレームを，適応的に補間フィルタ係数を切り替える単位となる複数ブロックからなる複数の領域に分割する。補間フィルタ係数切り替え部１２は，領域分割部１１により分割された領域ごとに，予測符号化における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替える。この切り替え対象となる補間フィルタ係数としては，例えばフィルタ係数最適化部１２１によって最適化されたフィルタ係数を用いる。フィルタ係数最適化部１２１は，領域ごとに，原画像と補間後の参照画像との予測誤差エネルギーが最小となる補間フィルタ係数を算出する。

予測信号生成部１３は，参照画像補間部１３１と動き検出部１３２とを備える。参照画像補間部１３１は，参照画像メモリ１７に格納された復号済み参照画像に，補間フィルタ係数切り替え部１２が選択した補間フィルタ係数による補間フィルタを適用し，動き検出部１３２は，補間後の参照画像に対して動き探索を行うことにより，動きベクトルを算出する。予測信号生成部１３は，動き検出部１３２によって算出された小数精度の動きベクトルによる動き補償により予測信号を生成する。

予測符号化部１４は，入力映像信号と予測信号との残差信号を算出し，それを直交変換し，変換係数の量子化などによって予測符号化を行う。また，復号部１６は，予測符号化の結果を復号し，復号画像を後の予測符号化のために参照画像メモリ１７に格納する。

可変長符号化部１５は，量子化された変換係数，動きベクトルを可変長符号化するとともに，領域ごとに補間フィルタ係数切り替え部１２が選択した補間フィルタ係数を可変長符号化し，これらを符号化ストリームとして出力する。

〔映像符号化装置の他の構成例〕
図１０は，他の映像符号化装置の構成例の一部を示している。図１０に示した部分以外の構成は，前述した図９と同様である。この例は，上記第２の例と第３の例を実施する装置の構成例である。

第２の例では，領域の分割を動きベクトルに基づいて行う。そのため，動き検出部１８は，入力映像信号の各ブロックについて，参照画像メモリ１７に格納された復号画像を参照して動きベクトルを探索する。この動き検出部１８による動き検出において，参照画像の小数精度画素の補間には，適応的に選択された補間フィルタ係数による補間フィルタを用いるのではなく，例えば従来のＨ．２６４／ＡＶＣによる固定６ｔａｐフィルタを用いる。

領域分割部１１における動きベクトル分類部１１１は，動き検出部１８が検出した動きベクトルを入力し，例えば前述した［表２］で説明した動きベクトルの分類によって，各ブロックのブロックタイプを決定する。領域分割部１１は，同じブロックタイプのブロック群が一つの領域になるようにフレームを分割する。

さらに，第３の例では，分類修正部１１２が，図８で説明した孤立点除去による領域の統合処理などによって，ブロックの分類を修正する。すなわち，分類修正部１１２は，動きベクトル分類部１１１による分類結果から，ブロック周辺の分類状況に応じて分類情報の修正を行う。この分類の変更情報は，図９に示す可変長符号化部１５で符号化して，復号側へ送信するようにしてもよい。

〔第４の例〕
図１１は，第４の例による適応補間フィルタの画面内切り替えによる符号化に対する復号処理フローチャートである。１枚のフレームを復号する場合の，第４の例による具体的な処理の流れを，図１１に従って説明する。以下では，特に断りがない限り，輝度信号での処理を仮定する。

ステップＳ４０１にて，参照画像の小数精度画素の補間に必要となる各種補間フィルタ係数の復号を行い，補間フィルタ係数群を取得する。

続いて，ステップＳ４０２にて，動きベクトルの復号を行う。復号後に［表１］に従って，ブロック単位で分類をして，領域分割を行う。

続いて，ステップＳ４０３にて，ステップＳ４０２で得られた領域分割結果から，ステップＳ４０１で得られた補間フィルタ係数の中から最適な補間フィルタ係数セットを領域ごとに選択し，参照画像の小数精度画素の復元を行う。小数精度画素復元後，ステップＳ４０２で復号した動きベクトルを用いて，復号対象ブロックの予測信号の生成を行う。

続いて，ステップＳ４０４にて，入力ビットストリームから復号対象ブロックの予測誤差信号の復号を行う。

続いて，ステップＳ４０５にて，ステップＳ４０３で得られた予測信号と，ステップＳ４０４で得られた予測誤差信号を足し合わせて，復号信号を生成する。

輝度信号での説明を行ったが，本フローは色差信号にも同様に適用できる。

〔第５の例〕
図１２は，第５の例による適応補間フィルタの画面内切り替えによる符号化に対する復号処理フローチャートである。１枚のフレームを復号する場合の，第５の例による具体的な処理の流れを，図１２に従って説明する。以下では，特に断りがない限り，輝度信号での処理を仮定する。

ステップＳ５０１にて，参照画像の小数精度画素の補間に必要となる各種補間フィルタ係数の復号を行い，補間フィルタ係数群を取得する。

続いて，ステップＳ５０２にて，動きベクトルの復号を行う。復号後に動きベクトルの成分から［表２］に従って，ブロック単位で分類をして，領域分割を行う。

続いて，ステップＳ５０３にて，ステップＳ５０２で得られた領域分割結果から，ステップＳ５０１で得られた補間フィルタ係数の中から最適な補間フィルタ係数セットを領域ごとに選択し，参照画像の小数精度画素の復元を行う。小数精度画素復元後，ステップＳ５０２で得られた動きベクトルを用いて，復号対象ブロックの予測信号の生成を行う。

続いて，ステップＳ５０４にて，入力ビットストリームから復号対象ブロックの予測誤差信号の復号を行う。

続いて，ステップＳ５０５にて，ステップＳ５０３で得られた予測信号と，ステップＳ５０４で得られた予測誤差信号を足し合わせて，復号信号を生成する。

輝度信号での説明を行ったが，本フローは色差信号にも同様に適用できる。

〔第６の例〕
図１３は，第６の例による領域統合機能を有する適応補間フィルタの画面内切り替えによる符号化に対する復号処理フローチャートである。１枚のフレームを復号する場合の，第６の例による具体的な処理の流れを，図１３に従って説明する。以下では，特に断りがない限り，輝度信号での処理を仮定する。

ステップＳ６０１にて，参照画像の小数精度画素の補間に必要となる各種補間フィルタ係数の復号を行い，補間フィルタ係数群を取得する。

続いて，ステップＳ６０２にて，動きベクトルの復号を行う。復号後に動きベクトルの成分から［表２］に従って，ブロック単位で分類をして，領域分割を行う。

続いて，ステップＳ６０３にて，ステップＳ６０２で得られた領域分割の結果を分析し，孤立している領域があった場合，一般に知られている孤立点除去アルゴリズムを用いて，孤立している領域を周辺領域と同じ領域に変換する。領域統合の事例を図８に示す。

続いて，ステップＳ６０４にて，ステップＳ６０３で得られた変換結果から，ステップＳ６０１で得られた補間フィルタ係数の中から最適な補間フィルタ係数セットを領域ごとに選択し，参照画像の小数精度画素の復元を行う。小数精度画素復元後，ステップＳ６０２で得られた動きベクトルを用いて，復号対象ブロックの予測信号の生成を行う。

続いて，ステップＳ６０５にて，入力ビットストリームから復号対象ブロックの予測誤差信号の復号を行う。

続いて，ステップＳ６０６にて，ステップＳ６０４で得られた予測信号と，ステップＳ６０５で得られた予測誤差信号を足し合わせて，復号信号を生成する。

輝度信号での説明を行ったが，本フローは色差信号にも同様に適用できる。

〔映像復号装置の構成例〕
図１４は，適応補間フィルタの画面内切り替えによる符号化に対する復号処理を実行する映像復号装置の構成例を示す図である。

映像復号装置２０において，復号部２１は，符号化ストリームのビットストリームを入力して，量子化変換係数，動きベクトル，補間フィルタ係数群などの復号を行う。領域分割部２２は，［表１］または［表２］などの分類基準に従って，復号対象フレームを適応的に補間フィルタ係数を切り替える単位となる複数ブロックからなる複数の領域に分割する。補間フィルタ係数切り替え部２３は，領域分割部２２により分割された領域ごとに，復号部２１で復号した補間フィルタ係数を切り替える。

予測信号生成部２４における参照画像補間部２４１は，参照画像メモリ２６に格納された復号済み参照画像に，補間フィルタ係数切り替え部２３から受け取った補間フィルタ係数による補間フィルタを適用し，参照画像の小数精度画素の復元を行う。予測信号生成部２４は，小数精度画素の復元が行われた参照画像から，復号対象ブロックの予測信号を生成する。

予測復号部２５は，復号部２１で復号した量子化係数の逆量子化，逆直交変換などを行い，それにより算出された予測誤差信号と，予測信号生成部２４が生成した予測信号とを足し合わせて復号画像を生成し，出力画像として出力する。また，予測復号部２５が復号した復号画像は，後の予測復号のために，参照画像メモリ２６に格納する。

なお，領域分割部２２においては，図１０で説明した符号化時の分類修正部１１２による領域の分類の修正と同様に，領域の分類情報を修正するようにしてもよい。

〔評価実験〕
１．実験内容
本発明の有効性を確認するために，評価実験を行い，従来手法と本発明に係る提案手法の符号化性能を比較した。図１５〜図１７に，従来手法と提案手法とによるレート歪み特性の評価実験の結果を示す。

具体的には，以下に示す６種類の手法（従来手法２種，本手法４種）のレート歪み特性を比較した。
・［従来手法１］Ｈ．２６４／ＡＶＣ：従来の係数固定の６タップを用いた補間方法
・［従来手法２］ＳＡＩＦ ｏｎ：従来の分離型適応補間フィルタを用いた方法
・［提案手法１］ｍｖｌｅｎｇ３：本発明による動きベクトルの長さが３以上か否かで領域を分割する方法（領域数＝２）
・［提案手法２］ｍｖｘ：本発明による動きベクトルの水平成分の大きさで領域を分割する方法（−３≦ｍｖｘ≦−１かそれ以外か；領域数＝２）
・［提案手法３］ｑｕａｄｒａｎｔ：本発明による動きベクトルの向きで領域を分割する方法（第１象限，第２象限，第３象限，第４象限；領域数＝４）
・［提案手法４］ｙｃｅｎｔｅｒ：本発明による画面の上半分と下半分で領域を分割する方法（領域数＝２）
２．実験条件
本発明の実施の形態で説明した手法を，次世代映像符号化参照ソフトウェアＫＴＡ（Key Technical Area）〔入手先：http://iphome.hhi.de/suehring/tml/download/KTA〕の最新版ｖｅｒ．２．５（2009年 8月11日リリース）に実装し，各種標準画像に対して，以下の条件で実験を行った。
・使用ソフトウェア：ＫＴＡ ｖｅｒ．２．５
・プロファイル：Ｈｉｇｈｔ Ｐｒｏｆｉｌｅ
・ＧＯＰ構造：ＩＰＰＰ
・符号化枚数：３枚
・量子化パラメータＱＰ：１６〜４０（２５点，Ｐフレーム），１５〜３９（２５点，Ｉフレーム）
・エントロピー符号化：ＣＡＢＡＣ
・ＲＤ最適化：使用
・領域分割方法：４種類（「実験内容」の項目参照）
３．実験結果
図１５〜図１７のレート歪み特性の比較を示すグラフは，以下の条件による実験結果である。
・図１５（Ａ）：「画像：Ｆｏｒｅｍａｎ，サイズ：ＣＩＦ，ＱＰ：２２および２３，フレーム：先頭Ｐフレーム」
・図１５（Ｂ）：「画像：Ｃｉｔｙ，サイズ：７２０ｐ，ＱＰ：３１および３２，フレーム：先頭Ｐフレーム」
・図１６（Ａ）：「画像：Ｊａｎｉｎｅ，サイズ：ＸＧＡ，ＱＰ：１６および１７，フレーム：先頭Ｐフレーム」
・図１６（Ｂ）：「画像：Ｊｅｔｓ，サイズ：７２０ｐ，ＱＰ：１６から１９の４点，フレーム：先頭Ｐフレーム」
・図１７：「画像：Ｒａｖｅｎ，サイズ：７２０ｐ，ＱＰ：１６から１９の４点，フレーム：先頭Ｐフレーム」
画像Ｆｏｒｅｍａｎ（ＣＩＦ：３５２×２８８）での結果は，図１５（Ａ）のとおりであり，画像Ｃｉｔｙ（７２０ｐ：１２８０×７２０）での結果は，図１５（Ｂ）のとおりであり，画像Ｊａｎｉｎｅ（ＸＧＡ：１０２４×７６８）での結果は，図１６（Ａ）のとおりであった。それぞれ横軸がフレームにて発生する符号量，縦軸が画質となっている。左上に行くほど，良い符号化性能を有していることになる。

画像によって提案手法の種類は異なるが，画像Ｆｏｒｅｍａｎでは，動きベクトルの水平成分による分割方法（ｍｖｘ），画像Ｃｉｔｙおよび画像Ｊａｎｉｎｅでは，画面の上下分割方法（ｙｃｅｎｔｅｒ）が，従来の固定フィルタ補間方法（Ｈ．２６４）とフレーム単位の適応補間手法（ＳＡＩＦ ｏｎ）よりも良い符号化性能を示していることが確認できた。ただし，画面分割手法によっては，従来手法に比べて劣化する場合もあった。

本実験において，動き情報による分割のために用いた閾値（動きベクトルの長さ３および水平成分−３から−１）は，最初に実験を行った画像Ｆｏｒｅｍａｎに対して特化した閾値であり，動きベクトルの分割総数がほぼ１：１になるように設定した値である。他の画像においても同様の値を用いているが，これは各画像ごとに設定することにより，符号化特性が向上する可能性が十分にある。

また，分割数が増えるとその分割領域の数だけフィルタ係数の符号量が増大することになる。より詳細に画像の局所性に対応できることになるが，オーバーヘッドが増加すると考えられるため，分割領域数と符号化性能はトレードオフとなる可能性が高いと思われる。例えば，図１５（Ｂ）のように中ビットレートでは，そのオーバヘッドが支配的になるため，画像Ｃｉｔｙにおいてはｑｕａｄｒａｎｔの符号量が増大しており，従来手法よりも符号化性能が大きく劣化している。

フィルタ係数の符号量はＱＰ値によって多少変動はあるものの，基本的には１つの領域に対して決められた数の係数を符号化することになるため，オーバーヘッドの符号量が相対的に小さくなる高ビットレートおよび高解像度の画像にて，本実施形態による提案手法の効果が高まると考えられる。高ビットレート（本実験ではＱＰ上位の４点１６〜１９）および高解像度（７２０ｐ）での事例を，図１６（Ｂ），図１７に示す。

以上により，本発明は，入力画像の種類と領域分割手法に依存するが，従来手法よりも符号化性能の改善が得られることが確認できた。

以上の映像符号化および復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１０ 映像符号化装置
１１，２２ 領域分割部
１１１ 動きベクトル分類部
１１２ 分類修正部
１２，２３ 補間フィルタ係数切り替え部
１２１ フィルタ係数最適化部
１３，２４ 予測信号生成部
１３１，２４１ 参照画像補間部
１３２，１８ 動き検出部
１４ 予測符号化部
１５ 可変長符号化部
１６，２１ 復号部
１７，２６ 参照画像メモリ
２０ 映像復号装置
２５ 予測復号部

Claims (13)

1. ｍ×ｎ画素（ｍ＞０，ｎ＞０）のブロック単位で動き補償を用いて映像を符号化する映像符号化方法において，
   符号化対象フレームを，適応的に補間フィルタを適用する単位となる複数ブロックからなる複数の領域に分割するステップと，
   前記分割された領域ごとに，予測符号化における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替えるステップと，
   予測符号化における参照画像に対し，前記補間フィルタ係数に基づく補間フィルタを用いて小数精度画素の補間を行い，小数精度の動き補償により予測符号化を行うステップと，
   前記補間フィルタ係数を符号化するステップとを有する
   ことを特徴とする映像符号化方法。
2. 請求項１に記載の映像符号化方法において，
   前記補間フィルタ係数を切り替えるステップでは，
   前記領域ごとに，原画像と補間後の参照画像との予測誤差エネルギーが最小となる補間フィルタ係数を算出し，最適化された補間フィルタ係数への切り替えを行う
   ことを特徴とする映像符号化方法。
3. 請求項１または請求項２に記載の映像符号化方法において，
   前記領域に分割するステップでは，
   前記ブロックの位置情報に基づく分類によって，または前記ブロックに対する動きベクトルの成分に基づく分類によって，符号化対象フレームを複数領域に分割する
   ことを特徴とする映像符号化方法。
4. ｍ×ｎ画素（ｍ＞０，ｎ＞０）のブロック単位で動き補償を用いて映像を符号化する映像符号化装置において，
   符号化対象フレームを，適応的に補間フィルタを適用する単位となる複数ブロックからなる複数の領域に分割する手段と，
   前記分割された領域ごとに，予測符号化における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替える手段と，
   予測符号化における参照画像に対し，前記補間フィルタ係数に基づく補間フィルタを用いて小数精度画素の補間を行い，小数精度の動き補償により予測符号化を行う手段と，
   前記補間フィルタ係数を符号化する手段とを備える
   ことを特徴とする映像符号化装置。
5. 請求項４に記載の映像符号化装置において，
   前記領域ごとに，原画像と補間後の参照画像との予測誤差エネルギーが最小となる補間フィルタ係数を算出し，前記切り替え対象となる補間フィルタ係数の最適化を行う手段を備える
   ことを特徴とする映像符号化装置。
6. 請求項４または請求項５に記載の映像符号化装置において，
   前記領域に分割する手段は，
   前記ブロックの位置情報に基づく分類によって，または前記ブロックに対する動きベクトルの成分に基づく分類によって，符号化対象フレームを複数領域に分割する
   ことを特徴とする映像符号化装置。
7. ｍ×ｎ画素（ｍ＞０，ｎ＞０）のブロック単位で動き補償を用いて映像を復号する映像復号方法において，
   小数精度画素の補間フィルタ係数を復号するステップと，
   復号対象フレームを，適応的に補間フィルタを適用する単位となる複数ブロックからなる複数の領域に分割するステップと，
   前記分割された領域ごとに，予測復号における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替えるステップと，
   予測復号における参照画像に対し，前記補間フィルタ係数に基づく補間フィルタを用いて小数精度画素の補間を行い，小数精度の動き補償により予測復号を行うステップとを有する
   ことを特徴とする映像復号方法。
8. 請求項７に記載の映像復号方法において，
   前記領域に分割するステップでは，
   前記ブロックの位置情報に基づく分類によって，または前記ブロックに対する動きベクトルの成分に基づく分類によって，復号対象フレームを複数領域に分割する
   ことを特徴とする映像復号方法。
9. ｍ×ｎ画素（ｍ＞０，ｎ＞０）のブロック単位で動き補償を用いて映像を復号する映像復号装置において，
   小数精度画素の補間フィルタ係数を復号する手段と，
   復号対象フレームを，適応的に補間フィルタを適用する単位となる複数ブロックからなる複数の領域に分割する手段と，
   前記分割された領域ごとに，予測復号における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替える手段と，
   予測復号における参照画像に対し，前記補間フィルタ係数に基づく補間フィルタを用いて小数精度画素の補間を行い，小数精度の動き補償により予測復号を行う手段とを備える
   ことを特徴とする映像復号装置。
10. 請求項９に記載の映像復号装置において，
    前記領域に分割する手段では，
    前記ブロックの位置情報に基づく分類によって，または前記ブロックに対する動きベクトルの成分に基づく分類によって，復号対象フレームを複数領域に分割する
    ことを特徴とする映像復号装置。
11. ｍ×ｎ画素（ｍ＞０，ｎ＞０）のブロック単位で動き補償を用いて映像を符号化し，復号する映像符号化・復号方法において，
    映像符号化時に，
    符号化対象フレームを，適応的に補間フィルタを適用する単位となる複数ブロックからなる複数の領域に分割するステップと，
    前記分割された領域ごとに，予測符号化における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替えるステップと，
    予測符号化における参照画像に対し，前記補間フィルタ係数に基づく補間フィルタを用いて小数精度画素の補間を行い，小数精度の動き補償により予測符号化を行うステップと，
    前記補間フィルタ係数を符号化するステップとを実行し，
    映像復号時に，
    小数精度画素の補間フィルタ係数を復号するステップと，
    復号対象フレームを，適応的に補間フィルタを適用する単位となる複数ブロックからなる複数の領域に分割するステップと，
    前記分割された領域ごとに，予測復号における参照画像に対して用いる小数精度画素の補間フィルタ係数を切り替えるステップと，
    予測復号における参照画像に対し，前記補間フィルタ係数に基づく補間フィルタを用いて小数精度画素の補間を行い，小数精度の動き補償により予測復号を行うステップとを実行する
    ことを特徴とする映像符号化・復号方法。
12. 請求項１，請求項２または請求項３に記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラム。
13. 請求項７または請求項８に記載の映像復号方法を，コンピュータに実行させるための映像復号プログラム。

Images