JP2005318297A - 動画像符号化・復号方法及び装置 - Google Patents

Abstract

【課題】符号化対象画像と符号化済み画像間での画素値の変化を考慮した小数点画素の補間を行うことにより予測画像の誤差を減少させる。
【解決手段】符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を符号化対象画像と予測画像間の誤差が最小になるように決定し（Ｓ１０１〜Ｓ１０３）、符号化済み画像についてＳ１０３で決定された補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成し（Ｓ１０４）、生成された補間画像に対して動き補償予測を行うことより予測画像を生成する（Ｓ１０５〜Ｓ１０６）。
【選択図】図４

Description

本発明は、符号化済み画像について画素補間を行って得られる補間画像を用いて動き補償予測を行う動画像符号化・復号方法及び装置に関する。

動画像の符号化に用いられる技術の一つとして、動き補償予測がある。動き補償予測では、動画像符号化装置において新たに符号化しようとする符号化対象画像と局部復号により得られる既に符号化された符号化済み画像を用いて動きベクトルを求め、動きベクトルを用いて動き補償を行って得られる予測画像を生成する。符号化対象画像と予測画像間の予測誤差を直交変換し、直交変換係数を量子化する。量子化された直交変換係数と、動き補償に用いた動きベクトルの情報を符号化して復号装置に送る。復号装置では、入力された符号化データを復号し、復号済み画像と予測誤差及び動きベクトル情報を用いて予測画像を生成し、元の画像を復号する。

動き補償予測の方法として、フィルタを用いて符号化済み画像について小数点画素を補間することにより補間画像を生成し、補間画像と動きベクトルを用いて予測を行う方法が知られている。小数点画素とは、符号化済み画像の隣接画素間の位置の画素であり、例えば隣接画素間のちょうど中間位置の画素は1/2画素と呼ばれる。これに対して、符号化済み画像に元々ある画素を整数画素と呼ぶ。小数点画素の補間を行う場合、符号化対象画像に合わせてフィルタを適応的に切り替える方法が知られている。また、符号化対象画像の画素と予測画像の画素との間の二乗誤差が最小になるように、小数点画素の補間を行うフィルタを決定する方法が知られている（例えば、非特許文献１参照）。

一方、特許文献１には符号化対象画像信号の輝度Y及び色差Cb, Crを符号化済み画像信号の輝度Y’及び色差Cb’, Cr’’を用いて、Y=αY’+β, Cb=αCb’, Cr=αCr’ のように予測する技術が示されている。
特開平１０−２４８０７２公報 T. Wedi, "Adaptive Interpolation Filter for Motion Compensated Prediction, "Proc. IEEE International Conference on Image Processing, Rochester, New York USA, September 2002

非特許文献１によると、一つのフィルタを固定して用いるより予測誤差、すなわち符号化対象画像と予測画像間の誤差が小さくなる。しかし、非特許文献１ではフィルタを用いて小数点画素の補間を行う際に、フェードイン・フェードアウト画像に含まれるような、符号化対象画像と符号化済み画像間での画素値の変化を考慮していない。従って、このような画素値の変化があると予測誤差が増大する。

一方、特許文献１においては符号化対象画像と符号化済み画像間での画素値の変化を考慮している。ただし、特許文献１の技術は時間方向の予測に関するものであり、動き補償予測のための補間に関するものではない。

本発明は、符号化対象画像と符号化済み画像間での画素値の変化を考慮した小数点画素の補間を行うことにより予測画像の誤差を減少させる動画像符号化・復号方法及び装置を提供することを目的とする。

上記課題を解決するため、本発明の一つの観点によると、動き補償予測を用いる動画像符号化に際して、符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定し、前記符号化済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成し、前記補間画像に対して前記動き補償予測を行うことより前記予測画像を生成する。

また、前記予測誤差に対して直交変換を施すことにより直交変換係数を生成して量子化し、量子化された直交変換係数、前記動き補償予測に用いる動きベクトル及び前記補間係数を含めた補間係数の組に対してエントロピー符号化を行って符号化データを出力する。

本発明の他の観点によると、入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を含めた補間係数の組を求め、前記復号済み画像について補間係数の組を用いて隣接画素間の位置にある画素を補間することより補間画像を生成し、前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成し、前記直交変換係数から予測誤差を求め、前記予測画像及び予測誤差から前記復号対象画像を再生する。

本発明によれば、符号化対象画像と符号化済み画像間の画素値の変化を考慮した小数点画素の補間を行うことにより、フェードイン・フェードアウト画像のような画素値が時間的に変化する画像に対する予測誤差を減少させることができる。

以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
まず、図１を参照して本発明の第１の実施形態に係る動画像符号化装置について説明する。符号化対象画像の入力動画像信号１１は減算器１０１に入力され、ここで入力動画像信号１１と予測画像信号１５との差分がとられることにより、予測誤差信号１２が生成される。予測誤差信号１２に対して直交変換器１０２により直交変換が施され、直交変換係数が生成される。直交変換係数は、量子化器１０３により量子化される。

量子化された直交変換係数情報は、逆量子化器１０４により逆量子化された後、逆直交変換器１０５により逆直交変換される。加算器１０６では、再生された予測誤差信号と予測画像信号１５が加算されることによって、局部復号画像信号１４が生成される。局部復号画像信号１４はフレームメモリ１０７に蓄積され、フレームメモリ１０７から読み出される局部復号画像信号は、動き補償予測器１０８に入力される。

動き補償予測器１０８では、フレームメモリ１０７に蓄積されている局部復号画像信号と入力動画像信号１１を受けて局部復号画像信号に対して動き補償予測が行われ、予測画像信号１５が生成される。予測画像信号１５は、入力動画像信号１１との差分をとるために減算器１０１に送られ、さらに局部復号画像信号１４を生成するために加算器１０６にも送られる。

量子化器１０３により量子化された直交変換係数情報１３は、例えば算術符号化器のようなエントロピー符号化器１０９にも入力され、エントロピー符号化が施される。動き補償予測器１０８からは、動き補償予測に用いられた動きベクトル情報１６と小数点画素の補間に用いる係数を示す補間係数情報１７が出力され、エントロピー符号化器１０９によりエントロピー符号化される。エントロピー符号化器１０９から、量子化された直交変換係数情報１３、動きベクトル情報１６及び補間係数情報１７に対応して出力される符号は多重化器１１０によって多重化され、ビットストリームの符号化データ１８として出力される。符号化データ１８は、図示しない蓄積系あるいは伝送路へ送出される。

次に、図２を用いて動き補償予測器１０８について説明する。
画素補間器２０１においては、後に詳しく説明するように図１の加算器１０６からの局部復号画像信号１４と係数決定器２０６から与えられる係数情報１７に基づいて、補間画像信号１９が生成される。補間画像信号１９は、スイッチ２０２に入力される。スイッチ２０２では、補間画像信号１９を予測画像生成器２０３と動き検出器２０４の両方に送るか、あるいは動き検出器２０４のみに送るかが選択される。動き検出器２０４では、補間画像信号１９と入力動画像信号１１から動きベクトルが検出される。予測画像生成器２０３では、補間画像信号１９と動きベクトルから予測画像信号１５が生成される。

動き検出器２０４により検出された動きベクトルは、スイッチ２０５に入力される。スイッチ２０５では、動きベクトルの情報を予測画像生成器２０３及び図１のエントロピー符号化器１０９に送るか、あるいは係数決定器２０６に送るかが選択される。係数決定器２０６は、動きベクトル、入力動画像信号１１及び局部復号画像信号１６から前述の補間係数を決定する。具体的には、補間係数は符号化対象画像である入力動画像信号１１と予測画像信号１５間の二乗誤差を最小化するように決定される。また、補間係数は符号化対象画像である入力動画像信号１１と符号化済み画像であるフレームメモリ１０７から読み出される局部復号画像信号間の画素値の変化を反映させるように決定される。

決定された補間係数を示す係数情報１７は、画素補間器２０１に送られると共に、図１に示したエントロピー符号化器１０９に送られる。係数決定器３０６の詳細な動作については、後に説明する。

次に、図３を用いて画素補間器２０１について説明する。
水平方向に小数点画素の補間を行う場合、まず整数画素の信号である局部復号画像信号１４の画素値がラスタスキャン順にフィルタ３００に入力される。フィルタ３００において、局部復号画像信号１４の入力画素値は遅延器３０１に蓄積され、同時に遅延器３０１に一時点前に入力され蓄積されていた画素値が出力される。他の遅延器３０２、３０３、３０４及び３０５においても、同様の動作が行われる。

係数乗算器３０６においては、局部復号画像信号１４の入力画素値に定数[ｈ(-3)]_numを乗じる。ここでnumは２ⁿ であり、[ｒ]_numは分母をnumに揃えたときのｒの分子を表すことにする。他の係数乗算器３０７、３０８、３０９、３１０及び３１１においても、同様に入力画素値に定数[ｈ(-2)]_num，[ｈ(-1)]_num，[ｈ(0)]_num，[ｈ(1)]_num，[ｈ(2)]_numをそれぞれ乗じる。次に、加算器３１２において全ての係数乗算器３０６〜３１１から出力される値の和がとられ、フィルタ３００の出力信号となる。

次に、遅延器３０１〜３０５、係数乗算器３０６〜３１１及び加算器３１２を含むフィルタ３００からの出力信号に対して、加算器３１３により定数[ａ]_num が加算される。定数[ａ]_num には、例えば後述するように符号化対象画像と符号化済み画像間の画素値の変化を示す係数の分子が用いられる。加算器３１３からの出力信号は、ｎビットシフト演算器３１４でｎビットシフトされ、すなわち1/2ⁿ ＝1/num倍されることによって、最終的に補間画像信号１９が求められる。図３では６つの画素値を用いて補間画像の画素値を計算する例を示したが、任意の複数の画素値を用いて補間画像の画素値を計算することができる。上述した画素補間器２０１のさらに詳細な動作については、後に説明する。

次に、図４に示すフローチャートを用いて動き補償予測器１０８の処理手順について説明する。
まず、ステップＳ１０１で画素補間器２０１を用いて局部復号画像信号１４から1/2画素精度の補間画像信号１９を生成する。この場合、1/2画素精度の補間に適当なフィルタを用いる。例えば、ITU-T H.264/MPEG-4 Part10 AVCで用いられるフィルタ係数(1/32, -5/32, 20/32, 20/32, -5/32, 1/32)のフィルタを用いる。

次のステップＳ１０２では、動き検出器２０４によって入力動画像信号１１と画素補間器２０１からの補間画像信号１９に基づき動きベクトルを求める。動きベクトルの検出法は周知であるため、ここでは詳しい説明を省略する。

次のステップＳ１０３では、係数決定器２０６によって入力動画像信号１１、動き検出器２０４からの動きベクトル、フレームメモリ１０７からの局部復号画像信号１４に基づき、入力画像信号１１の符号化対象画像と入力動画像信号１１と予測画像信号１５間の二乗誤差を最小にする補間係数の決定を行う。補間係数の決定法については、後に詳しく述べる。

次のステップＳ１０４では、係数決定器２０６により決定された補間係数を用いて、画素補間器２０１によって補間画像信号１９を生成する。次のステップＳ１０５では、ステップＳ１０４で生成された補間画像信号１９を用いて動き検出器２０４により再び動き検出を行う。このとき、検出された動きベクトルは、スイッチ２０５を介して予測画像生成器２０３及びエントロピー符号化器１０９に送られる。最後に、ステップＳ１０６では、予測画像生成器２０３により予測画像信号１５を生成し、動き補償予測が終了する。

次に、ステップＳ１０３における入力動画像信号１１と予測画像信号１５間の二乗誤差を最小にする補間係数の決定方法について詳しく説明する。予測画像信号１５の画素は、動きベクトルによって以下の３種類に分けられる。すなわち、動きベクトルの指し示す符号化済み画像上の位置がｘ方向（水平方向）について1/2画素の位置(x-1/2, y)である画素、ｙ方向（垂直方向）について1/2画素の位置(x, y-1/2)である画素、及びｘ方向とｙ方向の双方について1/2画素の位置(x-1/2, y-1/2)である画素である。これらの画素のうち、動きベクトルの指し示す位置が(x-1/2, y)である画素と(x, y-1/2)である画素を補間係数の決定に用いる。
以下、図５を用いて動きベクトルの指し示す符号化済み画像上の位置が(x-1/2, y)である画素を補間係数の決定に用いる場合を例にとり、係数決定器２０６の動作を説明する。図５は、時点ｔの符号化対象画像上の画素を１時刻前の時点ｔ-1の符号化済み画像上の画素から予測する動き補償予測の様子を示している。

時点ｔでの画素ｓ_t (x, y)の予測は、動きベクトル(ｕ_t (x, y), ｖ_t (x, y)) 及び時点ｔ-1での画素ｓ_{t -1}(x, y)を用いて次式（１）で行うものとする。

図５中の二重丸で示されるように、動きベクトル(ｕ_t (x, y), ｖ_t (x, y))で指し示される時点ｔ-1の符号化済み画像上の位置(ｘ+ｕ_t (x, y), y+ｖ_t (x, y))の画素ｓ_t-1(ｘ+u_t (x, y), ｙ+ｖ_t (x, y))がｘ方向（水平方向）について1/2画素、ｙ方向（垂直方向）について整数画素である場合、画素ｓ_t-1(ｘ+u_t (x, y), ｙ+ｖ_t (x, y))はｘ方向の補間により求まる。このとき、画素ｓ_t (x, y)の予測は、次式（２）のように係数ａ_t , ｈ_t (l) (l = -L, -L+１, ─ , L-１) を用いて行う。

式（２）の右辺第２項は、図３中のフィルタ３００の演算により実現される。式（２）の右辺第１項の係数ａ_t の加算は、図３中の加算器３１３による定数[ａ]_num の加算とｎビットシフト演算器３１４によって実現される。すなわち、式（２）においては係数ａ_t により符号化対象画像と符号化済み画像間の画素値の変化を考慮している。

符号化対象画像と予測画像の相対応する画素間の誤差ｅ(x, y)を式（４）に示すように画素ｓ_t (x, y)とその予測画素との差で定義すると、符号化対象画像と予測画像間の平均二乗誤差は式（５）で表される。

ここで、Ｚは整数を表す。式（５）では、動きベクトルの指し示す位置が(x-1/2, y)である画素について和がとられている。
次に、式（５）を最小にする係数を求める。まず、式（５）に示した符号化対象画像と予測画像間の平均二乗誤差ＭＳＥの、式（２）中の係数ａ_t 及びｈ_t (l)についての偏微分係数を次式（６）（７）により求める。

式（６）（７）の偏微分係数を０とおき、方程式を解くことにより係数ａ_t , ｈ_t (l) を求めることができる。このようにして求められる係数ａ_t , ｈ_t (l) を式（２）に代入することにより、画素ｓ_t (x, y)の予測を行う。動きベクトルの指し示す位置が(x, y-1/2)の画素についても、同様に係数ｂ_t, ,ｇ_t (m) (m= -M, -M+1, , M-1)を求めることができる。

係数ａ_t, ｈ_t(l), ｂ_t, ｇ_t(m)は、本実施形態では分母を２ⁿ ＝numに揃えたときの係数の分子[ａ_t ]_num, [ｈ_t (l)]_num, [ｂ_t ]_num, [ｇ_t (m)]_numに変換される。ただし、係数の分子は整数に丸められる。例えば、[ａ_t ]_numは次式となる。

係数の分子[ａ_t ]_num, [ｈ_t (l)]_num, [ｂ_t ]_num, [ｇ_t (m)]_num及び分母の指数部nが係数情報１７として係数決定器２０６からエントロピー符号化器２０４に送られ、エントロピー符号化されると共に、画素補間器２０１に送られる。

次に、図６を用いてステップＳ１０４における画素補間器２０１での補間画像信号１９の生成法について説明する。
位置(x, y)と(x-１, y)の間にある1/2画素ｓ(x-1/2, y)は、係数決定器２０６から与えられる係数の分子[ａ_t ]_num, [ｈ_t (l)]_num及び分母の指数部ｎにより、次式（９）で求められる。

位置(x, y)と(x, y-１)の間にある1/2画素ｓ(x, y-1/2)は、係数決定器２０６から与えられる係数の分子[ｂ_t ]_num, [ｇ_t (m)]_num及び分母の指数部ｎを用いて次式（１０）で求められる。

式（９）または（１０）が画素のダイナミックレンジの最大値より大きいか、あるいは最小値より小さい場合、それぞれダイナミックレンジの最大値、最小値に修正するクリッピング処理を行う。以下、計算により求められたすべての画素値について、クリッピング処理が行われるものとする。

画素位置(x-1/2, y-1/2)の画素ｓ(x-1/2, y-1/2)については、仮に従来の技術と同様の手順で式（９）により水平方向に補間された画素を用いて、式（１０）により垂直方向に補間を行うと、画素値は次式で求められる。

式（１１）に含まれるｓ(x-1/2, y+m)については、式（９）で符号化対象画像と符号化済み画像間にある画素値の変化を表す係数の分子[ａ_t ]_numが含まれている。式（１１）においても同様に画素値の変化を表す係数の分子[ｂ_t ]_numが含まれており、二重に画素値の変化を考慮してしまうことになる。

そこで本実施形態では、図７及び図８に示すように式（９）を用いて水平方向に補間された位置(x-1/2, y)の画素にフィルタを用いて垂直方向の補間を行い、画素ｓ(x-1/2, y-1/2)を求める。フィルタには、1/2画素精度の補間に適当なものを用いる。例えば、ステップＳ１０１で用いたようなH.264 / AVCで用いられるフィルタ係数(1/32, -5/32, 20/32, 20/32, -5/32, 1/32)のフィルタを用いる。画素位置が(x-1/2, y-1/2)の画素ｓ(x-1/2, y-1/2)は、次式（１２）で求められる。

ここで、[ｃ(m)]_numは係数の分子[ａ_t ]_num等と同様に、次式（１３）で表されるものとする。

なお、式（９）により水平方向に補間された画素にフィルタを用いて垂直方向の補間をする方法を示したが、フィルタを用いて水平方向に補間された画素に式（１０）により垂直方向の補間を行ってもよい。生成された補間画像信号はスイッチ２０２を介して予測画像生成器２０３及び動き検出器２０４に送られる。

ステップＳ１０１，S１０４での補間及びステップＳ１０３の補間係数の決定において用いる画素の位置は、画面の範囲外になる場合がある。画面の範囲外の画素については、画面の縁に位置する画素が延長されているか、あるいは画面の縁を基準に画像信号が対称になるように画素が延長されていると仮定する。

次に、補間係数のエントロピー符号化について説明する。エントロピー符号化器１０９では、係数情報１７として係数の分子[ａ_t ]_num, [ｈ_t (l)]_num, [ｂ_t ]_num, [ｇ_t (m)]_num及び係数の分母の指数部ｎを受け、これらをフレーム毎、フィールド毎、スライス単位、またはＧＯＰ単位などシンタクス上の単位で符号化する。

なお、本実施形態では二乗誤差を最小とする方法を示したが、他の誤差の基準で補間係数を求めてもよい。また、時点ｔ-1の画像から動き補償予測を行う方法を示したが、時点ｔ-１以前の符号化済み画像から同様に動き補償予測を行うこともできる。

次に、図９を用いて第１の実施形態に係る動画像復号装置について説明する。復号対象の符号化データ２１として、図１の動画像符号化装置から出力される符号化データ１８が蓄積系または伝送系を経て入力される。復号対象の符号化データ２１には、量子化された直交変換係数情報、動きベクトル情報及び補間係数情報の符号が含まれている。これらの各符号は多重化分離器４０１により分離され、エントロピー復号化器４０２によって復号されることにより、量子化された直交変換係数情報２２、動きベクトル情報２３及び補間係数情報２４が出力される。補間係数情報２４は、図１に示した動画像符号化装置側では符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数の情報であるが、動画像復号化装置側で見れば復号対象画像と復号済み画像間の画素値の変化を表す補間係数の情報である。

エントロピー復号化器４０２から出力される情報のうち、量子化された直交変換係数情報２２は逆量子化器４０３に、動きベクトル情報２３は予測画像生成器４０６に、そして補間係数情報２４である係数の分子[ａ_t ]_num, [ｈ_t (l)]_num, [ｂ_t ]_num, [ｇ_t (m)]_num及び係数の分母の指数部ｎは補間画像生成器４０７にそれぞれ送られる。

量子化された直交変換係数情報２２は逆量子化器４０３によって逆量子化された後、逆直交変換器４０４により逆直交変換されることによって、予測誤差信号２５が得られる。加算器４０５では予測誤差信号２５に予測画像信号２７が加算されることにより、動画像信号２８が再生される。再生される動画像信号２８は、フレームメモリ４０８に蓄積される。

画素補間器４０７においては、フレームメモリ４０８に蓄積されている動画像信号と多重化分離器４０１から与えられる補間係数情報である係数の分子[ａ_t ]_num, [ｈ_t (l)]_num, [ｂ_t ]_num, [ｇ_t (m)]_num及び係数の分母の指数部ｎを用いて補間画像信号２６が生成される。ここで、画素補間器４０７は第１の実施形態における図２中の画素補間器２０１と同様に補間を行う。最後に、こうして生成された補間画像について動きベクトル情報２３を用いて予測画像生成器４０６により予測画像が生成され、動画像信号２８を得るために加算器４０５に送られる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態と同様である。本実施形態は、水平方向及び垂直方向の画像信号の性質が同じであると仮定し、次式（１４）（１５）のように水平方向及び垂直方向共に同一の補間係数を用いる。

補間係数の決定においては、第１の実施形態の式（５）（６）（７）を動きベクトルの指し示す位置が(x-1/2, y)にある画素及び位置(x, y-1/2)にある画素双方の和をとるように変更する。平均二乗誤差及び偏微分係数は、次式（１６）（１７）（１８）となる。

式（１７）（１８）の偏微分係数を０とおいて方程式を解くことにより、水平方向及び垂直方向双方の補間に共通の補間係数であるａ_t , ｈ_t (l) が得られる。補間については図７及び図１０に示すように、決定された係数の分子[ａ_t ]_num, [ｈ_t (l)]_numを水平方向及び垂直方向に共通に用いて、第１の実施形態のステップＳ１０４と同様に行う。

第２の実施形態によれば、水平方向及び垂直方向の補間に用いる補間係数を別々に設ける場合に比べ、補間係数の個数を削減することができる。従って、エントロピー符号化を行うべき係数の分子の数も減少するので、係数情報１７を送るために必要な符号量を第１の実施形態の場合より削減することができる。

本発明の第１の実施形態に係る動画像符号化装置のブロック図 図１中の動き補償予測器のブロック図 図２中の画素補間器のブロック図 図１中の動き補償予測器の処理手順を示すフローチャート 動き補償予測について説明する図 水平方向の補間について説明する図 水平方向に小数点画素位置にある画素を補間する際の水平方向の補間について説明する図 水平方向及び垂直方向共に小数点画素位置にある画素を補間する際の垂直方向の補間について説明する図 本発明の第１の実施形態に係る動画像復号装置のブロック図 本発明の第２の実施形態における垂直方向の補間について説明する図

符号の説明

１１…入力動画像信号
１２…予測誤差信号
１３…量子化直交変換係数
１４…局部復号画像信号
１５…予測画像信号
１６…動きベクトル情報
１７…係数情報
１８…符号化データ
１９…補間画像信号
１０１…減算器
１０２…直交変換器
１０３…量子化器
１０４…逆量子化器
１０５…逆直交変換器
１０６…加算器
１０７…フレームメモリ
１０８…動き補償予測器
１０９…エントロピー符号化器
１１０…多重化器
２０１…画素補間器
２０２…スイッチ
２０３…予測画像生成器
２０４…動き検出器
２０５…スイッチ
２０６…係数決定器
３０１〜３０５…遅延器
３０６〜３１１…係数乗算器
３１２…加算器
３１３…加算器
３１４…ビットシフト演算器
２１…符号化データ
２２…量子化直交変換係数
２３…動きベクトル情報
２４…係数情報
２５…予測誤差信号
２６…補間画像信号
２７…予測画像信号
２８…出力動画像信号
４０１…多重化分離器
４０２…エントロピー復号化器
４０３…逆量子化器
４０４…逆直交変換器
４０５…加算器
４０６…予測画像生成器
４０７…画素補間器
４０８…フレームメモリ

Claims (10)

1. 動き補償予測を用いる動画像符号化方法において、
   符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定するステップと、
   前記符号化済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成するステップと、
   前記補間画像に対して前記動き補償予測を行うことより前記予測画像を生成するステップとを具備する動画像符号化方法。
2. 前記予測誤差に対して直交変換を施すことにより直交変換係数を生成するステップと、
   前記直交変換係数を量子化するステップと、
   量子化された直交変換係数、前記動き補償予測に用いる動きベクトル及び前記補間係数対してエントロピー符号化を行って符号化データを出力するステップとをさらに具備する請求項１記載の動画像符号化方法。
3. 前記補間画像を生成するステップは、前記符号化対象画像と予測画像間の平均二乗誤差の前記補間係数についての偏微分係数を０とおいて前記補間係数を求める請求項１記載の動画像符号化方法。
4. 前記補間画像を生成するステップは、水平方向及び垂直方向共に前記隣接画素間の位置にある画素を補間する際に、水平方向及び垂直方向のいずれか一方については補間フィルタと前記補間係数を用いて補間を行い、他方については前記補間フィルタのみを用いて補間を行う請求項１記載の動画像符号化方法。
5. 前記補間係数を決定するステップは、前記補間係数として水平方向及び垂直方向の双方に共通の係数を決定する請求項１記載の動画像符号化方法。
6. 動き補償予測を用いる動画像符号化装置において、
   符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定する手段と、
   前記符号化済み画像について前記補間係数を用いて小数点画素の補間を行うことより補間画像を生成する手段と、
   前記補間画像を用いて動き補償予測を行うことより前記予測画像を作成する手段とを具備する動画像符号化装置。
7. 入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を求めるステップと、
   前記復号済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間することより補間画像を生成するステップと、
   前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成するステップと、
   前記直交変換係数から予測誤差を求めるステップと、
   前記予測画像及び予測誤差から前記復号対象画像を再生するステップとを具備する動画像復号化方法。
8. 前記補間画像を生成するステップは、水平方向及び垂直方向共に前記隣接画素間の位置にある画素を補間する際に、水平方向及び垂直方向のいずれか一方については補間フィルタと前記補間係数を用いて補間を行い、他方については前記補間フィルタのみを用いて補間を行う請求項７記載の動画像復号化方法。
9. 前記補間係数を決定するステップは、前記補間係数として水平方向及び垂直方向の双方に共通の係数を決定する請求項７記載の動画像復号化方法。
10. 入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を求める手段と、
    前記復号済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間することより補間画像を生成する手段と、
    前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成する手段と、
    前記直交変換係数から予測誤差を求める手段と、
    前記予測画像及び予測誤差から前記復号対象画像を再生する手段とを具備する動画像復号化装置。

Images