JP2004040512A - 画像符号化方法および画像復号方法 - Google Patents

Abstract

【課題】複数の参照フレームから任意の２枚の参照フレームを選択し補間予測によりフレーム間予測を行う符号化方式のダイレクトモードの符号化効率を改善する。
【解決手段】複数のダイレクトモード用スケーリング係数を格納したダイレクトモード用スケーリング係数表を備え、ダイレクトモードの第１相対インデックス値に応じてダイレクトモード係数を選択使用することにより、符号化対象フレームと参照フレームの表示時刻差を考慮したダイレクトモード用動きベクトル生成ができるため、ダイレクトモード時の符号化効率を改善することができる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号を符号化および復号する方法、並びにそれをソフトウェアで実施するためのプログラムが記録された記録媒体に係るものである。
【０００２】
【従来の技術】
近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合　電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある。また、ＩＴＵでは、現在、最新の画像符号化規格としてＨ．２６４が標準化中であり、標準化過程におけるドラフト案はＨ．２６Ｌと呼ばれる。
【０００３】
ＭＰＥＧ−１，２，４，Ｈ．２６３などの動画像符号化方式に共通の技術として動き補償を伴うフレーム間予測がある。これらの動画像符号化方式の動き補償では、入力画像のフレームを所定のサイズの矩形（以降、ブロックと呼ぶ）に分割し、各ブロック毎にフレーム間の動きを示す動きベクトルから予測画素を生成する。
【０００４】
以下、動き補償を伴うフレーム間予測について説明するため、まず▲１▼Ｂピクチャの概念について説明し、Ｂピクチャは補間予測ブロックをピクチャ内に含むことが可能なピクチャであるため、▲２▼補間予測について説明する。次に、補間予測等で用いられる参照フレームは一意に識別されているため、▲３▼識別のために用いられるフレーム番号と相対インデックス、およびこれらを参照フレームに付与する方法について説明する。次に、▲４▼短期フレームバッファと長期フレームバッファについて説明し、▲５▼画素補間によりフレーム間予測を行うモードであるダイレクトモードについて説明する。最後に▲６▼従来の画像符号化装置、▲７▼従来の画像復号化装置について説明する。
【０００５】
▲１▼Ｂピクチャについて図１６を用いて説明する。図１６はＢピクチャの概念図である。Ｆｒｍは符号化対象のＢピクチャ、Ｒｅｆ１，Ｒｅｆ２，Ｒｅｆ３はフレーム間予測の参照フレームとして使用可能な符号化済フレームを示す。ブロックＢｌｋ１は参照ブロックＲｅｆＢｌｋ１とＲｅｆＢｌｋ２からフレーム間予測されたブロック、ブロックＢｌｋ２は参照ブロックＲｅｆＢｌｋ２１とＲｅｆＢｌｋ２２からフレーム間予測されたブロックである。
【０００６】
▲２▼図１７は補間予測の説明図である。ＲｅｆＢｌｋ１とＲｅｆＢｌｋ２は補間予測に使用された２つの参照ブロック、ＰｒｅｄＢｌｋは補間処理により得られた予測ブロックを示す。ここでは、ブロックサイズは４×４画素として説明する。Ｘ１（ｉ）はＲｅｆＢｌｋ１の画素値、Ｘ２（ｉ）はＲｅｆＢｌｋ２の画素値、Ｐ（ｉ）はＰｒｅｄＢｌｋの画素値とする。画素値Ｐ（ｉ）は次式のような線形予測式により得ることができる。
【０００７】
Ｐ（ｉ）　＝　Ａ・Ｘ１（ｉ）　＋　Ｂ・Ｘ２（ｉ）＋Ｃ
Ａ，Ｂ，Ｃは線形予測係数である。この線形予測係数は、ＭＰＥＧ−１，２のように、平均値（上式でＡ＝１／２，Ｂ＝１／２，Ｃ＝０の場合）のみが使用される場合もあるし、明示的に線形予測係数を設定し、その値を画像符号化信号中に格納して画像符号化装置から画像復号装置に伝送する場合もある。
【０００８】
複数の参照フレームから画素補間によりフレーム間予測されるブロックを「補間予測ブロック」と呼ぶ。Ｂピクチャは、補間予測ブロックをピクチャ内に含むことが可能なピクチャである。また、Ｂピクチャでは、図１６で示すブロックＢｌｋ１とブロックＢｌｋ２のように、補間予測ブロック毎に異なる参照フレームを選択することができる。
【０００９】
なお、補間予測ブロックを含まず、１枚の参照フレームからフレーム間予測を行うブロックをピクチャ内に含むことが可能なピクチャをＰピクチャと呼び、フレーム間予測を行わない面内予測ブロックのみから構成されるピクチャをＩピクチャと呼ぶ。
【００１０】
Ｈ．２６ＬではＢピクチャのブロックに対し最大２枚の参照フレームを使用する。そこで、２枚の参照フレームを区別するため、各参照フレームを第１参照フレーム、第２参照フレームと呼ぶ。第１参照フレーム、第２参照フレーム、それぞれに対する動きベクトルを第１動きベクトル、第２動きベクトルと呼ぶ。図１６のＢｌｋ１を例にとると、第１参照フレームはＲｅｆ１、第２参照フレームはＲｅｆ３、第１動きベクトルはＭＶ１、第２動きベクトルはＭＶ２となる。また、第１参照フレームのみからの予測を第１参照フレーム予測、第２参照フレームのみからの予測を第２参照フレーム予測と呼ぶ。なお、参照フレーム１枚からフレーム間予測されたブロックでは、参照フレームや動きベクトルを区別する必要はない。ただし、本文書中では、説明の都合上、参照フレーム１枚からフレーム間予測されたブロックの参照フレーム・動きベクトルを、第１参照フレーム、第１動きベクトルと呼ぶ。
【００１１】
▲３▼図１８はフレーム番号と相対インデックスの説明図である。フレーム番号・相対インデックスはマルチフレームバッファＭＦｒｍＢｕｆに格納された参照フレームを一意に識別するための番号である。Ｈ．２６Ｌでは、参照画像としてメモリに蓄積されるフレーム毎に１増加する値がフレーム番号として割り当てられる。一方、相対インデックスは図１９に示すようにブロック中にある。そして、このブロックのフレーム間予測に使用する参照フレームを指示するために相対インデックスは使用される。
【００１２】
図１９は従来の画像符号化装置による画像符号化信号フォーマットの概念図である。Ｐｉｃｔｕｒｅは１フレーム分の符号化信号、Ｈｅａｄｅｒはフレーム先頭に含まれるヘッダ符号化信号、Ｂｌｏｃｋ１はダイレクトモードによるブロックの符号化信号、Ｂｌｏｃｋ２はダイレクトモード以外の補間予測によるブロックの符号化信号、ＲＩｄｘ１，ＲＩｄｘ２は相対インデックス、ＭＶ１，ＭＶ２は動きベクトルを示す。補間予測ブロックＢｌｏｃｋ２では、補間に使用する２つの参照フレームを示すため２つの相対インデックスＲＩｄｘ１，ＲＩｄｘ２を符号化信号中にこの順で有する。この順で有する。相対インデックスＲＩｄｘ１，ＲＩｄｘ２いずれを使用するかはＰｒｅｄＴｙｐｅにより判断することができる。第１参照フレームを示す相対インデックスＲＩｄｘ１を第１相対インデックス、第２参照フレームを示す相対インデックスＲＩｄｘ２を第２相対インデックスと呼ぶ。第１参照フレームと第２参照フレームとは符号化ストリーム中のデータ位置で決まる。
【００１３】
以下、第１相対インデックス、第２相対インデックスの付与方法について図１８を用いて説明する。
【００１４】
第１相対インデックスの値には、まず、符号化対象フレームより前の表示時刻を持つ参照フレームに対し、符号化対象フレームに近い順より０から始まる値が割り当てられる。符号化対象より前の表示時刻を持つ参照フレーム全てに対し０から始まる値が割り当てられたら、次に符号化対象フレームより後の表示時刻を持つ参照フレームに対し、符号化対象フレームに近い順から続きの値が割り当てられる。
【００１５】
図２１（ａ）における第１相対インデックスＲＩｄｘ１が０で第２相対インデックスＲｉｄｘ２が１の場合、図２０に示すように、第１参照フレームはフレーム番号１４のＢピクチャであり、第２参照フレームはフレーム番号１３のＢピクチャである。　第２相対インデックスの値には、まず、符号化対象フレームより後の表示時刻を持つ参照フレームに対し、符号化対象フレームに近い順より０から始まる値が割り当てられる。符号化対象より後の表示時刻を持つ参照フレーム全てに対し０から始まる値が割り当てられたら、次に符号化対象フレームより前の表示時刻を持つ参照フレームに対し、符号化対象フレームに近い順から続きの値が割り当てられる。
【００１６】
ブロック中の相対インデックスは可変長符号語により表現され、値が小さいほど短い符号長のコードが割り当てられている。通常、フレーム間予測の参照フレームとして符号化対象フレームに最も近いフレームが選択されるため、上記のように符号化対象フレームに近い順に相対インデックス値を割り当てれば符号化効率は高くなる。
【００１７】
▲４▼図２０は短期フレームバッファと長期フレームバッファの概念図である。ＭＰＥＧ−１，２では、マルチフレームバッファＭＦｒｍＢｕｆは、バッファに空きがなければ最初にバッファに格納した参照フレームを破棄して新しい参照フレームを格納する、ＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ　Ｆｉｒｓｔ−Ｏｕｔ）形式のバッファとして既定される。ここで、静止した背景の前を物体が横切るシーンを考える。この場合、背景は一旦前景の物体に隠れ、再び画面に現れる。もし、物体に隠れた背景が最初に現れた時点で参照フレームとして、物体に隠れる前に符号化した背景のフレームを使用できれば符号化効率は向上する。しかしながら、参照フレームの画像データを保持するために必要なメモリ量は膨大で、実用的なメモリ量を考慮すれば、マルチフレームバッファＭＦｒｍＢｕｆに格納できる最大フレーム数は数枚程度である。そのため、上記のようなシーンの場合、背景が再び画面に現れた時点には、既に背景のフレームはマルチフレームバッファＭＦｒｍＢｕｆから破棄され予測に使用できず、効率的なフレーム間予測を行うことができない場合が多い。
【００１８】
そこで、Ｈ．２６Ｌでは、マルチフレームバッファＭＦｒｍＢｕｆとして、ＦＩＦＯ形式のバッファとは別に、特定のフレームを長期間保持することができる長期フレームバッファＬＴＭｅｍと呼ばれるバッファを既定している。図２０に示すように、Ｈ．２６Ｌでは、マルチフレームバッファＭＦｒｍＢｕｆは、仮想的に短期フレームバッファＳＴＭｅｍと長期フレームバッファＬＴＭｅｍに分割する。従来のＦＩＦＯ形式のバッファは、長期フレームバッファと区別するため、短期フレームバッファＳＴＭｅｍと呼ばれる。一旦、長期フレームバッファＬＴＭｅｍに格納された参照フレームは、バッファに対する制御指示なしに、長期フレームバッファＬＴＭｅｍから破棄されることはない。上記で説明したシーンの場合には、長期フレームバッファＬＴＭｅｍに背景のフレームを格納しておくことにより、隠れた背景が再び現れた時点で、そのフレームを予測に使用することができる。この仕組みにより、上記で説明したシーンのような場合に大きく符号化効率を上げることができる。長期フレームバッファＬＴＭｅｍと短期フレームバッファＳＴＭｅｍの間で参照フレームを移動したり、長期フレームバッファＬＴＭｅｍから参照フレームの破棄を行うには、バッファに対して制御指示を行う。長期フレームバッファＬＴＭｅｍに対し参照フレームの移動・破棄などの制御を行った場合に、画像符号化装置は、図２１に示すように符号化信号中にその制御内容を示すバッファ制御信号ＲＰＳＬを格納する。画像復号装置は、符号化信号中のバッファ制御信号ＲＰＳＬを使用して、画像符号化装置と同じ制御をマルチフレームバッファＭＦｒｍＢｕｆの長期フレームバッファＬＴＭｅｍに行うことができる。
【００１９】
図２０の例では、図１９に示すように短期フレームバッファＳＴＭｅｍに参照フレームＲｅｆ１，Ｒｅｆ２，Ｒｅｆ３を、長期フレームバッファＬＴＭｅｍに参照フレームＬＴＲｅｆ１，ＬＴＲｅｆ２を格納している。相対インデックス値は、長期フレームバッファＬＴＭｅｍの参照フレームに対しても割り当てられる。そのため、短期フレームバッファＳＴＭｅｍの参照フレームの場合と同様に、画像符号化信号中において、ブロックの動き補償で参照フレームとして選択された長期フレームバッファＬＴＭｅｍのフレームを相対インデックスの値で示すことができる。
【００２０】
▲５▼図２１は従来の画像符号化装置のダイレクトモードの説明図である。ダイレクトモードとは、符号化対象ブロックに対する参照フレーム・動きベクトルを、参照フレームの符号化時に使用した動きベクトル・参照フレームから以下に説明する方法により決定し、画素補間によりフレーム間予測を行うモードである。Ｆｒｍは符号化対象のＢピクチャ、Ｒｅｆ１，Ｒｅｆ２，Ｒｅｆ３，Ｒｅｆ４はマルチフレームバッファＭＦｒｍＢｕｆ内の符号化済フレームを示す。ＲＩｄｘ１は第１相対インデックス、ＲＩｄｘ２は第２相対インデックス、ＭＶ０１は第１動きベクトル、ＭＶ０２は第２動きベクトルを示す。
【００２１】
ブロックＢｌｋ０はダイレクトモードで符号化されるブロック、ブロックＢｌｋ００は参照フレームＲｅｆ３内で符号化対象ブロックＢｌｋ０と同じ位置にあるブロック、ＲｅｆＢｌｋ０１は参照フレームＲｅｆ１に含まれる参照ブロック、ＲｅｆＢｌｋ０２は参照フレームＲｅｆ３に含まれる参照ブロックを示す。
【００２２】
動きベクトルＭＶ０はブロックＢｌｋ００を符号化した際の第１動きベクトルでフレームＲｅｆ１を参照する。符号化対象ブロックＢｌｋ０の予測に使用される第１動きベクトルＭＶ０１と第２動きベクトルＭＶ０２とは次の式により計算される。
【００２３】
ＭＶ０１　＝　Ｎ１×ＭＶ０／Ｄ、ＭＶ０２＝Ｎ２×ＭＶ０／Ｄ
上式において、Ｎ１，Ｎ２，Ｄはダイレクトモード用動きベクトルの計算時に使用される値であり、本詳細な説明ではこのＮ１，Ｎ２，Ｄの値の組をダイレクトモード用スケーリング係数と呼ぶ。図２１の場合、ダイレクトモード用スケーリング係数をＮ１＝２，Ｎ２＝−１，Ｄ＝３とすればよい。また、動きベクトルＭＶ０をスケーリング用動きベクトルと呼ぶ。画面内での符号化対象ブロックを含む物体の動きが一定であると仮定した場合、第１動きベクトルＭＶ０１と第２動きベクトルＭＶ０２は、フレームＦｒｍと第１参照フレームＲｅｆ１の表示時刻差と、フレームＦｒｍと第２参照フレームＲｅｆ２の表示時刻差と、によって動きベクトルＭＶ０を内分することによって求めることができる。
【００２４】
また、ダイレクトモードにおいては各フレームごとに伝送されたダイレクトモード用スケーリング係数がフレーム含まれる全ブロックに共通して使用される。
【００２５】
なお、図２１を図１８と対応させるとすると、図２１のＦｒｍは図１８の中央のＢピクチャ（点線のピクチャ）に、図２１のＲｅｆ３は図１８のフレーム番号１３のピクチャに、図２１のＲｅｆ１は図１８のフレーム番号１２のピクチャに、図２１のＲｅｆ２は図１８のフレーム番号１１のＢピクチャに対応する。図２１のＦｒｍ以外の点線で示されている非参照フレームは、他のピクチャから参照されることがないため、マルチフレームバッファＭｆｒｍＢｕｆには保存されない。よって、図１８に示すピクチャのようにそのフレームを参照するための相対インデックスが割り当てられることは無い。
【００２６】
▲６▼図１５は、従来の画像符号化装置の構成を示すブロック図である。以下、画像符号化装置について説明する。
画像符号化装置は、ブロックに分割された画像信号Ｉｍｇを入力し、ブロック毎に処理を行うとする。減算器Ｓｕｂは、画像信号Ｉｍｇから予測画像信号Ｐｒｅｄを減算し、残差信号Ｒｅｓとして出力する。　画像符号化手段ＩｍｇＥｎｃは、残差信号Ｒｅｓを入力し、ＤＣＴ変換・量子化などの画像符号化処理を行い、量子化済ＤＣＴ係数などを含む残差符号化信号ＥＲｅｓを出力する。画像復号手段ＩｍｇＤｅｃは、残差符号化信号ＥＲｅｓを入力し、逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲｅｓを出力する。加算器Ａｄｄは、残差復号信号ＤＲｅｓと予測画像信号Ｐｒｅｄを加算し、再構成画像信号Ｒｅｃｏｎとして出力する。再構成画像信号Ｒｅｃｏｎで、以降のフレーム間予測で参照される可能性がある信号は、マルチフレームバッファＭＦｒｍＢｕｆに格納する。マルチフレームバッファＭＦｒｍＢｕｆのメモリ量は有限なため、マルチフレームバッファＭＦｒｍＢｕｆ内で以降のフレーム間予測に使用されないフレームのデータはマルチフレームバッファＭＦｒｍＢｕｆから除去することができる。
【００２７】
動き推定手段ＭＥは、マルチフレームバッファＭＦｒｍＢｕｆに格納された参照フレームＲｅｆＦｒｍｓを入力し動き推定を行い、面内予測、第１参照フレーム予測、第２参照フレーム予測、補間予測による予測の中から所定の方法で最適な予測種別を選択し（ピクチャ種別により選択できる予測種別は異なる）、ブロックに対する第１動きベクトルｅＭＶ１、第２動きベクトルｅＭＶ２、第１相対インデックスｅＲＩｄｘ１、第２相対インデックスｅＲＩｄｘ２を出力する。
【００２８】
動き推定手段ＭＥにおける予測種別の選択方法には、例えば、各予測種別による予測誤差が最小となる予測種別を選択する方法がある。選択された予測種別が面内予測の場合には、動きベクトル、相対インデックスは出力されず、第１参照フレーム予測の場合には、第１相対インデックス、第１動きベクトルのみ出力され、第２参照フレーム予測の場合には、第２相対インデックス、第２動きベクトルのみ出力され、補間予測の場合には、第１、第２相対インデックス、第１，第２動きベクトルが出力される。
【００２９】
上記で示したように、Ｈ．２６Ｌではダイレクトモード時の第２参照フレームとして第２相対インデックスｒＲＩｄｘ２が０の参照フレームが使用される。よって、値０の第２相対インデックスｒＲＩｄｘ２は動きベクトル・フレーム番号バッファＭＶＦＮＢｕｆとダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲＩｄｘとに入力される。
【００３０】
動きベクトル・フレーム番号バッファＭＶＦＮＢｕｆには、スケーリング用ベクトルｒＭＶとスケーリング用ベクトルｒＭＶが参照するフレームを示すフレーム番号とが記憶されている。スケーリング用ベクトルｒＭＶが含まれる参照フレームは第２相対インデックスｒＲｉｄｘ２が示す参照フレームであるため、値０の第２相対インデックスｒＲＩｄｘ２を入力し、スケーリング用ベクトルｒＭＶとスケーリング用ベクトルｒＭＶの参照フレームを示す第１相対インデックスｒＲＩｄｘ１とを出力する。
【００３１】
ダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲＩｄｘは、ダイレクトモード用スケーリング係数ＳＰ、スケーリング用ベクトルｒＭＶ、第１相対インデックスｒＲＩｄｘ１を入力し、上記に説明したダイレクトモードの処理により、ダイレクトモード時の第１動きベクトルｓＭＶ１、第２動きベクトルｓＭＶ２、第１相対インデックスｓＲＩｄｘ１、第２相対インデックスｓＲＩｄｘ２を出力する。
【００３２】
予測種別選択手段ＰｒｅｄＳｅｌは、画像信号Ｉｍｇと、参照フレームＲｅｆＦｒｍｓと、「ダイレクトモード」の参照ブロックの位置を示す相対インデックスｓＲＩｄｘ１，ｓＲＩｄｘ２・動きベクトルｓＭＶ１，ｓＭＶ２と、「ダイレクトモード以外」の予測時に使用する参照ブロックの位置を示す相対インデックスｅＲＩｄｘ１，ｅＲＩｄｘ２・動きベクトルｅＭＶ１，ｅＭＶ２を入力する。そして、ブロックの予測にダイレクトモードを使用すべきか決定され、決定された予測種別が予測種別ＰｒｅｄＴｙｐｅとして可変長符号化手段ＶＬＣ０に出力される。
【００３３】
予測種別選択手段ＰｒｅｄＳｅｌにおける予測種別の選択は、例えば、入力画素に対する「ダイレクトモード時」の予測誤差と「ダイレクトモード以外の予測時」の予測誤差とで、予測誤差の小さい方を選択することで行う。
【００３４】
よって、予測種別ＰｒｅｄＴｙｐｅには、動き推定手段ＭＥで選択される面内予測、第１参照フレーム予測、第２参照フレーム予測、ダイレクトモード以外の補間予測に加えて、ダイレクトモードが加わることになる。
【００３５】
そして、予測種別ＰｒｅｄＴｙｐｅがダイレクトモードを示す場合には、スイッチＳＷ１２は”１”側に切り替わり、相対インデックスｓＲＩｄｘ１，ｓＲＩｄｘ２、動きベクトルｓＭＶ１，ｓＭＶ２が相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２として使用される。
【００３６】
一方、予測種別ＰｒｅｄＴｙｐｅがダイレクトモード以外を示す場合には、スイッチＳＷ１２は”０”側に切り替わり、相対インデックスｅＲＩｄｘ１，ｅＲＩｄｘ２、動きベクトルｅＭＶ１，ｅＭＶ２が相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２として使用される。
【００３７】
また、ダイレクトモード時には、符号化済フレームのブロックを符号化した際の第１動きベクトルｓＭＶ１がスケーリング用ベクトルとして使用される。そして、その第１動きベクトルｓＭＶ１に参照されるフレームが、ダイレクトモードの一方の参照フレームとして使用される。
【００３８】
従って、符号化した第１相対インデックスＲＩｄｘ１、第１動きベクトルＭＶ１の中で、符号化したフレーム以降のフレームでダイレクトモードで使用される可能性がある第１相対インデックスＲＩｄｘ１、第１動きベクトルＭＶ１は動きベクトル・フレーム番号バッファＭＶＦＮＢｕｆに格納される。
【００３９】
予測種別ＰｒｅｄＴｙｐｅを決定後、マルチフレームバッファＭＦｒｍＢｕｆに第１相対インデックスＲＩｄｘ１と第１動きベクトルＭＶ１とが入力され、入力された第１相対インデックスＲＩｄｘ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲｅｆＢｌｋ１が画素補間手段Ｐｏｌに出力させる。予測種別により２つの参照ブロックが必要されるとき、さらにマルチフレームバッファＭＦｒｍＢｕｆから第２相対インデックスＲＩｄｘ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲｅｆＢｌｋ２が画素補間手段Ｐｏｌに出力される。
【００４０】
補間予測時には、画素補間手段Ｐｏｌは２個の参照ブロックＲｅｆＢｌｋ１，ＲｅｆＢｌｋ２に対応する位置の画素値を補間し、補間ブロックＲｅｆＰｏｌを出力する。
【００４１】
予測種別ＰｒｅｄＴｙｐｅが補間予測を示す場合には、スイッチＳＷ１１は”１”側に切り替わり、補間ブロックＲｅｆＰｏｌ　が予測画像信号Ｐｒｅｄとして使用される。
【００４２】
第１参照フレーム予測時には、マルチフレームバッファＭＦｒｍＢｕｆは第１相対インデックスＲＩｄｘ１と第１動きベクトルＭＶ１とに対応する参照ブロックＲｅｆＢｌｋを出力する。
【００４３】
第２参照フレーム予測時には、マルチフレームバッファＭＦｒｍＢｕｆは第２相対インデックスＲＩｄｘ２と第２動きベクトルＭＶ２とに対応する参照ブロックＲｅｆＢｌｋを出力する。
【００４４】
図示していないが、面内予測時には面内予測結果の画素からなるブロックＲｅｆＢｌｋがマルチフレームバッファＭＦｒｍＢｕｆから出力される。
【００４５】
これら予測種別ＰｒｅｄＴｙｐｅが補間予測以外の予測方法を示す場合には、スイッチＳＷ１１は”１”側に切り替わり、参照ブロックＲｅｆＢｌｋが予測画像信号Ｐｒｅｄとして使用される。
【００４６】
可変長符号化手段ＶＬＣ０は、残差符号化信号ＥＲｅｓ、相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２、ダイレクトモード用スケーリング係数ＳＰ、予測種別ＰｒｅｄＴｙｐｅを可変長符号化し、符号化信号ＢｉｔＳｔｒｍ０として出力する。
【００４７】
図２１の従来の画像符号化装置の画像符号化信号フォーマットの概念図において、Ｂｌｏｃｋ１はダイレクトモードで符号化されたブロックの例で、このブロックでは相対インデックス、動きベクトルの情報は符号化信号中を有さない。一方、Ｂｌｏｃｋ２はダイレクトモード以外の補間予測で符号化されているブロックの例で、このブロックでは相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２を画像符号化信号中に有することができる。
【００４８】
▲７▼図２３は、従来の画像復号装置の構成を示すブロック図である。図１５における従来の画像符号化装置の構成を示すブロック図と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。
【００４９】
可変長復号手段ＶＬＤ０は、画像符号化信号ＢｉｔＳｔｒｍ０を入力し可変長復号を行い、残差符号化信号ＥＲｅｓ、動きベクトルＭＶ１，ＭＶ２相対インデックスＲＩｄｘ１，ＲＩｄｘ２、ダイレクトモード用スケーリング係数ＳＰ、予測種別ＰｒｅｄＴｙｐｅを出力する。
【００５０】
画像復号手段ＩｍｇＤｅｃは、残差符号化信号ＥＲｅｓを入力し、逆量子化・逆ＤＣＴ変換などの画像復号処理を行い、残差復号信号ＤＲｅｓを出力する。
【００５１】
加算器Ａｄｄは、残差復号信号ＤＲｅｓと予測画像信号Ｐｒｅｄを加算し、復号画像信号ＤＩｍｇとして画像復号装置外に出力する。
【００５２】
マルチフレームバッファＭＦｒｍＢｕｆは、フレーム間予測のために復号画像信号ＤＩｍｇをバッファに格納する。
【００５３】
動きベクトル・フレーム番号バッファＭＶＦＮＢｕｆには、スケーリング用ベクトルｒＭＶとスケーリング用ベクトルが参照するフレームを識別する情報ｒＲＩｄｘ１が記憶されている。また、動きベクトル・フレーム番号バッファＭＶＦＮＢｕｆは値０の第１相対インデックスｒＲＩｄｘ２を入力し、スケーリング用ベクトルｒＭＶ、スケーリング用ベクトルが参照するフレームを識別する第１相対インデックスｒＲＩｄｘ１を出力する。
【００５４】
ダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲＩｄｘは、図１５のダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲＩｄｘと同じ処理を行う。
【００５５】
予測種別ＰｒｅｄＴｙｐｅがダイレクトモードを示す場合、スイッチＳＷ２２は”１”側に切り替わる。そして、相対インデックスｓＲＩｄｘ１，ｓＲＩｄｘ２、動きベクトルｓＭＶ１，ｓＭＶ２が相対インデックスｎＲＩｄｘ１，ｎＲＩｄｘ２、動きベクトルｎＭＶ１，ｎＭＶ２として使用される。
【００５６】
予測種別ＰｒｅｄＴｙｐｅがダイレクトモード以外を示す場合、スイッチＳＷ２２は”０”側に切り替わる。そして、相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２が相対インデックスｎＲＩｄｘ１，ｎＲＩｄｘ２、動きベクトルｎＭＶ１，ｎＭＶ２として使用される。
【００５７】
補間予測時は、マルチフレームバッファＭＦｒｍＢｕｆは第１相対インデックスｎＲＩｄｘ１と第１動きベクトルｎＭＶ１に対応する参照ブロックＲｅｆＢｌｋ１と、第２相対インデックスｎＲＩｄｘ２と第２動きベクトルｎＭＶ２に対応するＲｅｆＢｌｋ２とを出力する。そして、画素補間手段Ｐｏｌは２個の参照ブロックＲｅｆＢｌｋ１，ＲｅｆＢｌｋ２に対応する画素値を補間ブロックＲｅｆＰｏｌとして出力する。
【００５８】
第１参照フレーム予測時には、マルチフレームバッファＭＦｒｍＢｕｆは第１相対インデックスｎＲＩｄｘ１と第２動きベクトルｎＭＶ１に対応する参照ブロックＲｅｆＢｌｋを出力する。
【００５９】
第２参照フレーム予測時には、マルチフレームバッファＭＦｒｍＢｕｆは第２相対インデックスｎＲＩｄｘ２と第２動きベクトルｎＭＶ２に対応する参照ブロックＲｅｆＢｌｋを出力する。
【００６０】
図示していないが、面内予測時には面内予測結果の画素からなるブロックＲｅｆＢｌｋがマルチフレームバッファＭＦｒｍＢｕｆから出力される。
【００６１】
予測種別ＰｒｅｄＴｙｐｅが補間予測を示す場合には、スイッチＳＷ２１は”０”側に切り替わり、補間ブロックＲｅｆＰｏｌ　が予測画像信号Ｐｒｅｄとして使用される。
【００６２】
予測種別ＰｒｅｄＴｙｐｅが補間予測以外の予測方法を示す場合には、スイッチＳＷ２１は”１”側に切り替わり、参照ブロックＲｅｆＢｌｋが予測画像信号Ｐｒｅｄとして使用される。
【００６３】
復号した第１相対インデックスｎＲＩｄｘ１、第１動きベクトルｎＭＶ１の中で、復号したフレーム以降のフレームでダイレクトモードで使用される可能性がある第１相対インデックスｎＲＩｄｘ１、第１動きベクトルｎＭＶ１は動きベクトル・フレーム番号バッファＭＶＦＮＢｕｆに格納される。
【００６４】
以上、説明した処理により画像復号装置は画像符号化信号ＢｉｔＳｔｒｍ０を復号し、画像復号信号ＤＩｍｇとして出力する。
【００６５】
【発明が解決しようとする課題】
画面内での符号化対象ブロックを含む物体の動きが一定であると仮定した場合、符号化対象フレームと第１参照フレームの表示時刻差と、符号化対象フレームと第２参照フレームの表示時刻差との比によって、ダイレクトモード用スケーリング係数を決定することができる。この場合、図２０のブロックＢｌｋ０では、スケーリング係数は（Ｎ１，Ｎ２，Ｄ）＝（２，−１，３）となり、ブロックＢｌｋ１では、スケーリング係数は（Ｎ１，Ｎ２，Ｄ）＝（５，−１，６）と決まる。
【００６６】
しかしながら、Ｈ．２６Ｌでは、ダイレクトモード用スケーリング係数はフレームに対し１個しか送信できない。そのため、フレーム内の全てのダイレクトモードブロックに対し同じダイレクトモード用スケーリング係数を使用しなければならない。その結果、図２０の場合において、例えば、（Ｎ１，Ｎ２，Ｄ）＝（２，−１，３）をフレームＦｒｍに対し共通のスケーリング係数として使用すると、ブロックＢｌｋ０では適切なダイレクトモード用動きベクトルが生成できるが、ブロックＢｌｋ１では適切なダイレクトモード用動きベクトルを生成できないことになり、符号化効率は劣化する。
【００６７】
そこで、本発明では、ダイレクトモードのブロックに対し、使用する参照フレームに応じてスケーリング用係数を選択するための手段を提供し、ダイレクトモードの符号化効率を改善することを目的とする。
【００６８】
【課題を解決するための手段】
第１の発明は、
マルチフレームバッファに格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、
前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、
前記予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップと
を有する画像符号化方法における第二のステップにおいて、
前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
第１相対インデックスの値と対応付けられたスケーリング係数を１個以上格納したスケーリング係数表を備え、前記第１相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、
前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、
前記第三のステップにおいて、
画像符号化信号中に前記スケーリング係数表を含めて出力することにより、
第１の参照フレーム毎にスケーリング係数をダイレクトモード用スケーリング係数表から選択でき、符号化対象フレームと参照フレームの表示時刻差を考慮したダイレクトモード用動きベクトル生成ができるため、ダイレクトモードの符号化効率を改善できる。
【００６９】
第２の発明は、
予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、
マルチフレームバッファに格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二ステップと、
前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、
前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、
フレーム間予測に使用される可能性があるフレームの復号画像をマルチフレームバッファに格納する第五のステップと
を有する画像復号方法における第一のステップにおいて、
画像符号化信号中のスケーリング係数表を復号し、
前記第二のステップにおいて、
前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、
前記第三のステップにおいて、
前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、前記第１相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することにより、
第１の参照フレーム毎にスケーリング係数をダイレクトモード用スケーリング係数表から選択でき、符号化対象フレームと参照フレームの表示時刻差を考慮したダイレクトモード用動きベクトル生成ができるため、ダイレクトモードの符号化効率を改善できる。
【００７０】
第３の発明は、
マルチフレームバッファに格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、
前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、
前記予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第二のステップにおいて、
前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
第１相対インデックスの値と対応付けられたスケーリング係数、および、画素補間あるいは第１の参照フレームからの予測あるいは第２の参照フレームからの予測を示す予測方法種別を１個以上格納したスケーリング係数・予測方法表を備え、
前記第１相対インデックスに対応するスケーリング係数と予測方法種別を前記スケーリング係数・予測方法表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、
予測方法種別が画素補間の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、予測方法種別が第１の参照フレームからの予測の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、予測方法種別が第２の参照フレームからの予測の場合には、前記第２の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、
前記第三のステップにおいて、
画像符号化信号中に前記スケーリング係数・予測方法表を含めて出力することにより、
補間予測のみではなく、参照フレーム１枚のみを使用したダイレクトモードを使用できるため、符号化効率を改善できる。
【００７１】
第４の発明は、
予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、
マルチフレームバッファに格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二ステップと、
前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、
前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、
フレーム間予測に使用される可能性があるフレームの復号画像をマルチフレームバッファに格納する第五のステップと
を有する画像復号方法における第一のステップにおいて、
画像符号化信号中のスケーリング係数・予測方法表を復号し、
前記第二のステップにおいて、
前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、
前記第三のステップにおいて、
前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
前記第１相対インデックスに対応するスケーリング係数と予測方法種別を前記スケーリング係数・予測方法表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、
予測方法種別が画素補間の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、予測方法種別が第１の参照フレームからの予測の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、予測方法種別が第２の参照フレームからの予測の場合には、前記第２の参照フレームに対する動きベクトルから得られるブロックを予測画像とすることにより、
補間予測のみではなく、参照フレーム１枚のみを使用したダイレクトモードを使用できるため、符号化効率を改善できる。
【００７２】
【発明の実施の形態】
以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、実施の形態１の画像符号化装置のブロック図である。図２２における従来の画像符号化装置のブロック図と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。
【００７３】
Ｈ．２６Ｌでは、ダイレクトモード用スケーリング係数はフレームに対し１個のみしか伝送できないため、ブロックに最適なダイレクトモード用スケーリング係数を選択することができず、符号化効率が悪化してしまう問題があった。そこで、本発明では、複数のダイレクトモード用スケーリング係数を格納したダイレクトモード用スケーリング係数表を備え、ダイレクトモードの第１相対インデックスに応じて、その表中からダイレクトモードスケーリング係数を選択使用することで、ダイレクトモードの符号化効率を改善する。
【００７４】
図２はダイレクトモード係数選択時に使用するダイレクトモード用スケーリング係数表の第一例である。ＲＩｄｘ１はダイレクトモード時の第１相対インデックスを示し、Ｎ１，Ｎ２，Ｄの値の組はスケーリング係数を示す。表の各行のスケーリング係数は、行頭のＲＩｄｘ１の値に対する係数を示す。
【００７５】
画面内での符号化対象ブロックを含む物体の動きが一定であると仮定した場合、符号化対象フレームと第１参照フレームの表示時刻差と、符号化対象フレームと第２参照フレーム２の表示時刻差との比によって、ダイレクトモード用スケーリング係数を決定することができる。
【００７６】
図２０を例にすれば、ブロックＢｌｋ０のように第１相対インデックスＲＩｄｘ１が０の場合にスケーリング係数は（Ｎ１，Ｎ２，Ｄ）＝（２，−１，３）、ブロックＢｌｋ１のように第１相対インデックスＲＩｄｘ１が１の場合にスケーリング係数は（Ｎ１，Ｎ２，Ｄ）＝（５，−１，６）となる。同様にしてＲＩｄｘ１＝２以降の値に対してスケーリング係数を決定した結果により、図２にスケーリング係数を決定できる。
【００７７】
図１のダイレクトモード用スケーリング係数表バッファＳＰＴａｂｌｅＢｕｆには、ダイレクトモード用スケーリング係数表が格納されている。ダイレクトモード用スケーリング係数選択手段ＳＰＳｅｌは、動きベクトル・フレーム番号バッファＭＶＦＮＢｕｆから得られた第１相対インデックスＲＩｄｘ１を入力する。そして、ダイレクトモード用スケーリング係数表の第１列からＲＩｄｘ１＝ｒＲＩｄｘ１の条件を満たす行を検索し、検索の結果得られた行の　スケーリング係数（Ｎ１，Ｎ２，Ｄ）をダイレクトモード用スケーリング係数ＳＰとして出力する。
【００７８】
画像符号化装置で使用したダイレクトモード用スケーリング係数表は、符号化信号に格納し画像復号装置に伝送することにより、画像復号装置でも同じダイレクトモード用スケーリング係数を使用することができる。そこで、ダイレクトモード用スケーリング係数表バッファＳＰＴａｂｌｅＢｕｆからダイレクトモード用スケーリング係数表ＳＰｓを取り出し、可変長符号化手段ＶＬＣ４により、残差符号化信号ＥＲｅｓ、予測種別ＰｒｅｄＴｙｐｅ、相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２とともに、可変長符号化を行い、符号化信号ＢｉｔＳｔｒｍ４として出力する。
【００７９】
ここで、ダイレクトモード用スケーリング係数表を画像符号化信号ＢｉｔＳｔｒｍ４中に符号化する方法について説明する。本実施の形態では、ダイレクトモード用スケーリング係数表の符号化方法として異なる４つの方法を示す。
【００８０】
第１のダイレクトモード用スケーリング係数表の符号化方法は、Ｎ１，Ｎ２，Ｄの３つのパラメータとも画像符号化信号ＢｉｔＳｔｒｍ４中に符号化する方法である。図３は、この方法による画像符号化信号フォーマット例である。図２１の従来の画像符号化装置の画像符号化信号フォーマットに対しヘッダＨｅａｄｅｒ部のみ異なるため、Ｈｅａｄｅｒ部のみ図示する。Ｎはダイレクトモード用係数表に含まれるダイレクトモード用スケーリング係数の個数を示す。
【００８１】
Ｎ１（ｒ），Ｎ２（ｒ），Ｄ（ｒ）は第１相対インデックスＲＩｄｘ１＝ｒに対するダイレクトモード用スケーリング係数を示す。Ｎ個分のダイレクトモード用スケーリング係数がＨｅａｄｅｒ部に格納されており、画像復号装置はこのＨｅａｄｅｒ部を解析することで第１相対インデックスＲＩｄｘ１に対するダイレクトモード用スケーリング係数を取得することができる。
【００８２】
第２のダイレクトモード用スケーリング係数表の符号化方法は、Ｄ，Ｎ１，Ｎ２の間で成り立つ関係式を定義し、画像符号化信号ＢｉｔＳｔｒｍ４中ではＤ，Ｎ１，Ｎ２のうち２つのパラメータのみしか格納しない方法である。図４はこの方法による画像符号化信号フォーマット例である。
【００８３】
符号化対象ブロックを含む画面内の物体の動きが一定の仮定の下で、ダイレクトモードの第１動きベクトル、第２動きベクトルは、スケーリング用ベクトルを符号化対象フレームと第１参照フレームの表示時刻差と符号化対象フレームと第２参照フレームの表示時刻差の比で内分した結果になる。フレームレートと参照フレームの表示時刻間隔が一定とすると、内分の場合にはＤ＝Ｎ１−Ｎ２の関係式が成り立つため、画像符号化装置と画像復号装置の間でＤ＝Ｎ１−Ｎ２の関係式を既定することで、Ｎ１，Ｎ２，Ｄのいずれか１つのパラメータを画像復号装置に伝送しなくても、Ｎ１，Ｎ２，Ｄを決定することができる。図４は、Ｄ＝Ｎ１−Ｎ２の関係式が成り立つとし、Ｎ１を省略した場合の画像符号化信号フォーマットである。同様に、Ｎ２，Ｄを省略した画像符号化信号フォーマットも定義できる。
【００８４】
第３のダイレクトモード用スケーリング係数表の符号化方法は、Ｎ１，Ｎ２，Ｄのいずれかの値を表中の全ダイレクトモード用スケーリング係数で共通にする方法である。
【００８５】
ここでは、ダイレクトモードの第１動きベクトル、第２動きベクトルは、スケーリング用ベクトルを、符号化対象フレームと第１参照フレームの表示時刻差と符号化対象フレームと第２参照フレームの表示時刻差との比で内分した結果になると考える。
【００８６】
ダイレクトモードに使用する第２参照フレームがフレーム内で常に同じ参照フレームをであるとき、符号化対象フレームと第２参照フレームの表示時刻差はフレーム内で常に一定となる。そのため、第２参照ベクトルの計算時に使用するＮ２は固定値Ｃに固定にし、Ｎ１，Ｄを変更することで表示時刻差による内分を示すダイレクトモード用スケーリング係数を生成することができる。例えば、図２０の場合には、Ｃは−１とすることができる。図５はこの方法による画像符号化信号フォーマットの例である。
【００８７】
Ｈｅａｄｅｒ部に１〜Ｎのダイレクトモード用スケーリング係数で共通に使用されるＮ２の値を１つのみ格納している。
【００８８】
同様に、ダイレクトモードに使用する第１参照フレームがフレーム内で常に同じ参照フレームをであるとき、Ｎ１に関しても全てのダイレクトモード用スケーリング係数に共通に使用される値のみＨｅａｄｅｒ部に格納し、Ｎ２，Ｄに関してはＮ組をＨｅａｄｅｒ部に格納するようにしてもよい。
【００８９】
同様に、ダイレクトモードに使用する第１参照フレームと第２参照フレームとの間隔がフレーム内で常に一定であるとき、Ｄに関しても全てのダイレクトモード用スケーリング係数に共通に使用される値のみＨｅａｄｅｒ部に格納し、Ｎ１，Ｎ２の組Ｎ個をＨｅａｄｅｒ部に格納するようにしてもよい。
【００９０】
第４のダイレクトモード用スケーリング係数表の符号化方法は、Ｎ１，Ｎ２，Ｄ生成のための計算式を既定する方法である。
【００９１】
例えば、参照フレームのフレーム時間間隔が一定、第１参照フレームと第２参照フレームはスケーリング用ベクトルを内分した結果とすれば、Ｄ，Ｎ１，Ｎ２を次式で計算できる。
Ｄ（ｉ）＝Ｋ・（ｉ＋１）、Ｎ２（ｉ）＝ａ、Ｎ１（ｉ）＝Ｄ（ｉ）−Ｎ２（ｉ）
（ｉは第１相対インデックスが示す値、Ｋは参照フレームのフレーム間隔（例えば図２０のＲｅｆ１とＲｅｆ２との間隔）、ａは符号化対象フレームと第２参照フレームとの間隔（例えば図２０のＦｒｍとＲｅｆ３との間隔））
【００９２】
図６はこの方法による画像符号化信号フォーマット例である。符号化信号中にはＫ，ａのみを符号化する。画像符号化装置、画像復号装置、ともに上式を使用することで、符号化側・復号側で同じダイレクトモード用スケーリング係数が生成できる。
以上がダイレクトモード用スケーリング係数表の符号化方法についての説明である。
【００９３】
次に、ダイレクトモードの動きベクトルが図１９で示すような長期フレームバッファに格納されたフレームを参照する場合を考える。図７はダイレクトモード用スケーリング係数表の例である。ここでは、長期フレームバッファに含まれる全ての参照フレームに対し共通のダイレクトモード用スケーリング係数を設定する。画像符号化信号フォーマットには、長期フレームバッファに含まれるフレームに対しては、上記の長期フレームバッファに含まれる全ての参照フレームに対して共通に使用するダイレクトモード用スケーリング係数のみ格納する。長期フレームバッファに含まれるフレームは、長期間、参照フレームとなることから動きが殆どない画像と想定されるため、全て同じ係数を割り当てても問題ない。長期フレームバッファに含まれる全てのフレームに対し、ダイレクトモード用スケーリング係数送るだけで済むため符号量を削減できる。
【００９４】
本実施の形態では、Ｎ１，Ｎ２，Ｄの値は整数値であり、各整数値に対し可変長符号語を割り当てることができる。しかし、Ｎ１，Ｎ２，Ｄの値の範囲を制限することにより、より効率的な可変長符号語の割り当てができる。図８はダイレクトモード用スケーリング係数に対する符号語表の例である。（Ａ）はＮ１に対する可変長符号語表、（Ｂ）はＮ２に対する可変長符号語表、（Ｃ）はＤに対する可変長符号語表である。
【００９５】
画面内の符号化対象ブロックを含む物体の動きが一定であると仮定すれば、スケーリング用ベクトルを内分し、第１動きベクトルと第２ベクトルとすることができる。このとき、Ｄ，Ｎ１を正値、Ｎ２を負値にすれば内分を行うことができるので、Ｄ，Ｎ１の値の範囲は正値、Ｎ２の値の範囲は負値に制限しても問題はない。
【００９６】
そこで、図８で示すように、Ｄ，Ｎ１は正値のみ、Ｎ２は負値のみ可変長符号語を割り当てるようにしてもよい。使用しない値に可変長符号語を割り当てなくてもすむため符号化効率が高くなる。なお、Ｎ１の値は正値としたが０以上の値として、０にも可変長符号語を割り当ててもよい。同様にＮ２の値は０以下の値として、０にも可変長符号語を割り当ててもよい。また、本例では各Ｎ１，Ｎ２，Ｄに１つの可変長符号語を割り当てたが、Ｎ１，Ｎ２，Ｄ値の組み合わせに対して１つの可変長符号語を割り当ててもよい。
【００９７】
以上のように本実施の画像符号化装置は、ダイレクトモードの第１相対インデックスに対応したダイレクトモード用スケーリング係数をダイレクトモード用スケーリング係数表から選択し使用することで、符号化対象フレームと参照フレームの表示時刻差を考慮したダイレクトモード用動きベクトル生成ができるため、ダイレクトモードの符号化効率を改善できる。
【００９８】
（実施の形態２）
図９は、実施の形態２の画像復号装置のブロック図である。図２３における従来の画像復号装置の構成を示すブロック図と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。
【００９９】
可変長復号手段ＶＬＤ４は、画像符号化信号ＢｉｔＳｔｒｍ４を入力し、可変長復号を行い、残差符号化信号ＥＲｅｓ、予測種別ＰｒｅｄＴｙｐｅ、相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２、ダイレクトモード用スケーリング係数表ＳＰｓを出力する。ダイレクトモード用スケーリング係数表ＳＰｓは、ダイレクトモード用スケーリング係数表バッファＳＰＴａｂｌｅＢｕｆに格納する。ダイレクトモード用スケーリング係数選択手段ＳＰＳｅｌは、実施の形態１で示した図１の画像符号化装置のダイレクトモード用スケーリング係数選択手段ＳＰＳｅｌと同じ処理を行うとする。
【０１００】
画像符号化信号中からダイレクトモード係数表ＳＰｓを復号する場合には、実施の形態１で説明したダイレクトモード用スケーリング係数表の符号化方法に対応した復号を行う。
【０１０１】
例えば、実施の形態１で説明した第１のダイレクトモード用スケーリング係数表の符号化方法に対して、Ｎ１，Ｎ２，Ｄの間に関係式を定義し１つのパラメータを省略した場合には、Ｎ１，Ｎ２，Ｄの関係式から未知のパラメータを計算する。
【０１０２】
また、図４の画像符号化信号フォーマットのように、パラメータの１つを全ダイレクトモード用スケーリング係数に共通にし、共通のパラメータは１つのみ画像符号化信号中に格納する場合には、共通のパラメータを復号し、それを全ダイレクトモード用スケーリング係数に使用する。
【０１０３】
図６の画像符号化信号フォーマットのように、所定の計算式によりパラメータ値を計算できる場合には、その所定の計算式を使用して得られたパラメータ値を全ダイレクトモード用スケーリング係数に使用する。
【０１０４】
次に、相対インデックスｒＲＩｄｘに該当するダイレクトモード用スケーリング係数がダイレクトモード用スケーリング係数表に存在しない場合の処理について２つの方法を説明する。
【０１０５】
最初に第１の方法を説明する。図１０は本実施の形態における第１のダイレクトモード用スケーリング係数選択フローである。ｒＲＩｄｘはダイレクトモード時の第１相対インデックスとする。処理Ｆ１１でＲＩｄｘ１＝ｒＲＩｄｘに対するダイレクトモード用スケーリング係数がダイレクトモード用スケーリング係数表に存在するか調べる。もし、表中にダイレクトモード用スケーリング係数が存在していれば、処理Ｆ１３により、ｒＲＩｄｘに対応するダイレクトモード用スケーリング係数を選択する。もし、表中にダイレクトモード用スケーリング係数が存在しなければ、処理Ｆ１２によりダイレクトモード用スケーリング係数表でＲＩｄｘ１の値が最大のダイレクトモード用スケーリング係数を選択する。そしてダイレクトモード用スケーリング係数を選択する処理を終了する。ここで、Ｒｉｄｘ１が最大のダイレクトモード用スケーリング係数を選択するのは、表中にないダイレクトモード用スケーリング係数で、表中で最も近いダイレクトモード用スケーリング係数としては、ＲＩｄｘ１の値が最大のものになるからである。これは、従来の技術でも説明したように、デフォルトでは第１相対インデックスの値には、まず、符号化対象フレームより前の表示時刻を持つ参照フレームに対し、符号化対象フレームに近い順より０から始まる値が割り当てられるからである。
【０１０６】
次に第２の方法を説明する。図１１は本実施の形態における第２のダイレクトモード用スケーリング係数選択フローである。図１０との違いはＲＩｄｘ１＝ｒＲＩｄｘに対するダイレクトモード用スケーリング係数がダイレクトモード用スケーリング係数表に存在していなければ、処理Ｆ２２により既定のダイレクトモード用スケーリング係数を使用することである。
【０１０７】
以上のように本実施の形態によれば、実施の形態１で説明した本発明の画像符号化方法を用いた画像符号化装置のブロック図で符号化した画像符号化信号を正しく復号化できる。また、複数のダイレクトモード用スケーリング係数を使用することで、参照フレーム候補が複数ある場合にも符号化対象フレームと参照フレームの表示時刻差を考慮したダイレクトモード用動きベクトル生成ができるため符号化効率を改善できる。
【０１０８】
（実施の形態３）
図１２は、実施の形態３の画像符号化装置のブロック図である。図１における実施の形態１の画像符号化装置のブロック図と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。
【０１０９】
従来のダイレクトモードでは予測方法として補間予測のみしか使用できなかったが、本実施の形態ではダイレクトモードとして１枚の参照フレームからのフレーム予測も使用することができる。例えば、図２０において、Ｒｅｆ１とＦｒｍの間でシーンチェンジが発生すると、Ｒｅｆ１，Ｒｅｆ２とＦｒｍの間に相関がなくなり、フレーム間予測の効果がなくなる。この場合、相関がない参照フレームＲｅｆ１，Ｒｅｆ２を使用した補間予測よりも、Ｒｅｆ３のみを参照フレームとする予測の方が予測効率は高くなる。
【０１１０】
従って、１枚の参照フレームのみを使用する第１参照フレーム予測や第２参照フレーム予測をダイレクトモードとして使用すれば符号化効率を上げることができる。
【０１１１】
ダイレクトモード用スケーリング係数・予測方法表バッファＳＰＰＲｅｄＴａｂｌｅＢｕｆに格納されたダイレクトモード用スケーリング係数・予測方法表について、図１３を用いて説明する。図２と図１３の表の違いは、図１３の表には予測方法が追加されていることである。
【０１１２】
ダイレクトモード用スケーリング係数・予測方法選択手段ＳＰＰｒｅｄＳｅｌは、第１相対インデックスｒＲＩｄｘ１に対応するダイレクトモード用スケーリング係数ＳＰとダイレクトモード予測方法ＤＰｒｅｄの組を、ダイレクトモード用スケーリング係数・予測方法表バッファＳＰＰＲｅｄＴａｂｌｅＢｕｆから選択し出力する。
【０１１３】
ダイレクトモード予測方法ＤＰｒｅｄが第１参照フレーム予測を示す場合には、ダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲｅｆＩｄｘ２は、第１相対インデックスｓＲＩｄｘ１、第１動きベクトルｓＭＶ１のみを出力する。
【０１１４】
ダイレクトモード予測方法ＤＰｒｅｄが第２参照フレーム予測を示す場合には、ダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲｅｆＩｄｘ２は、第２相対インデックスｓＲＩｄｘ２、第２動きベクトルｓＭＶ２のみを出力する。
【０１１５】
ダイレクトモード選択時で、ダイレクトモード予測方法ＤＰｒｅｄが第１参照フレーム予測を示す場合には、予測種別選択手段ＰｒｅｄＳｅｌは、スイッチＳＷ１１を”１”側に切り替え、第１相対インデックスＲＩｄｘ１、第１参照ベクトルＭＶ１が示す参照ブロックＲｅｆＢｌｋ１を予測に使用する。ダイレクトモード選択時で、ダイレクトモード予測方法ＤＰｒｅｄが第２参照フレーム予測を示す場合には、予測種別選択手段ＰｒｅｄＳｅｌは、スイッチＳＷ１１を”１”側に切り替え、第２相対インデックスＲＩｄｘ２、第２動きベクトルＭＶ２が示す参照ブロックＲｅｆＢｌｋ２を予測に使用する。
【０１１６】
ダイレクトモード予測方法ＤＰｒｅｄが補間予測を示す場合には、スイッチＳＷ１１を”０”側に切り替え、第１相対インデックスＲＩｄｘ１、第１参照ベクトルＭＶ１が示す参照ブロックＲｅｆＢｌｋ１と、第２相対インデックスＲＩｄｘ２、第２参照ベクトルＭＶ２が示す参照ブロックＲｅｆＢｌｋ２を補間予測に使用する。
【０１１７】
画像符号化装置と画像復号装置で、共通のダイレクトモード用スケーリング係数・予測方法表ＳＰＰｒｅｄｓを使用できるように、ダイレクトモード用スケーリング係数・予測方法表ＳＰＰｒｅｄｓは符号化信号中に格納する。このとき、以下に示す方法のようにダイレクトモード用スケーリング係数Ｎ１，Ｎ２の値を利用することで、表中のダイレクトモード予測方法は符号化せず、すなわち、実施の形態１で示した画像符号化信号フォーマットのままで、画像復号装置にダイレクトモード予測方法ＤＰｒｅｄを通知することができる。
【０１１８】
図１３の表中からＮ２が０のダイレクトモード用スケーリング係数が選択された場合には、補間予測ではなく、第１参照フレーム予測を使用すると定義する。このとき、スケーリングベクトルをＭＶすれば、第１動きベクトルは（Ｎ１×ＭＶ）／Ｄとして計算することができる。
【０１１９】
同様に、Ｎ１が０のダイレクトモード用スケーリング係数が選択された場合には第２参照フレーム予測と定義し、第１動きベクトルは（Ｎ２×ＭＶ）／Ｄとして計算することができる。
【０１２０】
可変長符号化手段ＶＬＣ５は、残差符号化信号ＥＲｅｓ、予測種別ＰｒｅｄＴｙｐｅ、相対インデックスＲｅｆＩｄｘ１，ＲｅｆＩｄｘ２、動きベクトルＭＶ１，ＭＶ２、ダイレクトモード用スケーリング係数・予測方法表ＳＰＰｒｅｄｓを可変長符号化し、符号化信号ＢｉｔＳｔｒｍ５として出力する。
【０１２１】
以上のように本実施の形態によれば、シーンチェンジなどにより符号化対象フレームと相関が高い参照フレームが１枚しかなくなり補間予測の効果がなくなった場合でも、相関が高い参照フレームのみを使用したダイレクトモードを使用できるため、符号化効率を改善できる。
【０１２２】
（実施の形態４）
図１４は、実施の形態４の画像復号装置のブロック図である。図９における実施の形態２の画像復号装置のブロック図と同じ動作をするユニットおよび同じ動作の信号は同じ記号を付し、説明を省略する。
【０１２３】
可変長復号手段ＶＬＤ５は、画像符号化信号ＢｉｔＳｔｒｍ５を入力し、可変長復号を行い、残差符号化信号ＥＲｅｓ、予測種別ＰｒｅｄＴｙｐｅ、相対インデックスＲＩｄｘ１，ＲＩｄｘ２、動きベクトルＭＶ１，ＭＶ２ダイレクトモード用スケーリング係数・予測方法表ＳＰＰｒｅｄｓを出力する。
【０１２４】
ダイレクトモード用スケーリング係数・予測方法表ＳＰＰｒｅｄｓは、ダイレクトモード用スケーリング係数・予測方法表バッファＳＰＰＲｅｄＴａｂｌｅＢｕｆに格納する。ダイレクトモード用スケーリング係数・予測方法選択手段ＳＰＰｒｅｄＳｅｌは、第１相対インデックスｒＲＩｄｘ１に対応するダイレクトモード用スケーリング係数ＳＰとダイレクトモード予測方法ＤＰｒｅｄの組を、ダイレクトモード用スケーリング係数・予測方法表バッファＳＰＰＲｅｄＴａｂｌｅＢｕｆから選択し出力する。
【０１２５】
ダイレクトモード予測方法ＤＰｒｅｄが第１参照フレーム予測を示す場合には、ダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲｅｆＩｄｘ２は、第１相対インデックスｓＲＩｄｘ１、第１動きベクトルｓＭＶ１のみを出力する。
【０１２６】
ダイレクトモード予測方法ＤＰｒｅｄが第２参照フレーム予測を示す場合には、ダイレクトモード用ベクトル・相対インデックス生成手段ＧｅｎＭＶＲｅｆＩｄｘ２は、第２相対インデックス号ｓＲＩｄｘ２、第２動きベクトルｓＭＶ２のみを出力する。
【０１２７】
ダイレクトモード選択時で、ダイレクトモード予測方法ＤＰｒｅｄが第１参照フレーム予測を示す場合には、スイッチＳＷ２３を”１”側に切り替え、第１相対インデックスｎＲＲＩｄｘ１、第１参照ベクトルｎＭＶ１が示す参照ブロックＲｅｆＢｌｋを予測に使用する。
【０１２８】
ダイレクトモード選択時で、ダイレクトモード予測方法ＤＰｒｅｄが第２参照フレーム予測を示す場合には、スイッチＳＷ２３を”１”側に切り替え、第２相対インデックスｎＲＩｄｘ２、第２動きベクトルｎＭＶ２が示す参照ブロックＲｅｆＢｌｋを予測に使用する。
【０１２９】
ダイレクトモード予測方法ＤＰｒｅｄが補間予測を示す場合には、スイッチＳＷ２３を”０”側に切り替え、第１相対インデックスｎＲＩｄｘ１、第１参照ベクトルｎＭＶ１が示す参照ブロックＲｅｆＢｌｋ１と、第２相対インデックスｎＲＩｄｘ２、第２参照ベクトルｎＭＶ２が示す参照ブロックＲｅｆＢｌｋ２を補間予測に使用する。
【０１３０】
以上のように本実施の画像復号装置は、符号化信号中のダイレクトモード用スケーリング係数・予測方法表を復号し、ダイレクトモード用スケーリング係数表からダイレクトモードの相対インデックスの値に応じたダイレクトモード用スケーリング係数を使用することにより、実施の形態３で説明した画像符号化装置で符号化した画像符号化信号を正しく復号化できる。
【０１３１】
（実施の形態５）
さらに、上記各実施の形態で示した画像符号化方法または画像復号方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１３２】
図１５は、実施の形態１〜実施の形態４の画像符号化方法および画像復号方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。
【０１３３】
図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。
【０１３４】
また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１３５】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１３６】
さらにここで、上記実施の形態で示した画像符号化装置または画像復号化装置の応用例とそれを用いたシステムを説明する。
【０１３７】
図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１３８】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ　ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１３９】
しかし、コンテンツ供給システムｅｘ１００は図２４のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１４０】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１４１】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１４２】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１４３】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
【０１４４】
その一例として携帯電話について説明する。
図２５は、上記実施の形態で説明した画像符号化装置および画像復号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアｅｘ２０７、携帯電話ｅｘ１１５に記憶メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記憶メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１４５】
さらに、携帯電話ｅｘ１１５について図２６を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１４６】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１４７】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１４８】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１４９】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１５０】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１５１】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１５２】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１５３】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１５４】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１５５】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２７に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１５６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２６に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１５７】
このように、上記実施の形態で示した画像符号化装置、画像復号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１５８】
【発明の効果】
以上、詳細に説明したように、本発明の画像符号化方法・画像復号方法は複数のダイレクトモード用スケーリング係数を格納したダイレクトモード用スケーリング係数表を備え、ダイレクトモードの第１相対インデックス値に応じてダイレクトモード係数を選択使用することにより、符号化対象フレームと参照フレームの表示時刻差を考慮したダイレクトモード用動きベクトル生成ができるため、ダイレクトモード時の符号化効率を改善することができる。
【図面の簡単な説明】
【図１】実施の形態１の画像符号化装置のブロック図
【図２】実施の形態１のダイレクトモード用スケーリング係数表の第１例の図
【図３】実施の形態１の画像符号化信号フォーマットの第１例の図
【図４】実施の形態１の画像符号化信号フォーマットの第２例の図
【図５】実施の形態１の画像符号化信号フォーマットの第３例の図
【図６】実施の形態１の画像符号化信号フォーマットの第４例の図
【図７】実施の形態１のダイレクトモード用スケーリング係数表の第２例の図
【図８】実施の形態１のダイレクトモード用スケーリング係数に対する符号表の図
【図９】実施の形態２の画像復号装置のブロック図
【図１０】実施の形態２の第１の方法によるダイレクトモード用スケーリング係数選択フローチャート
【図１１】実施の形態２の第２の方法によるダイレクトモード用スケーリング係数選択フローチャート
【図１２】実施の形態３の画像復号装置のブロック図
【図１３】実施の形態３のダイレクトモード用スケーリング係数・予測方法表の図
【図１４】実施の形態４の画像復号装置のブロック図
【図１５】実施の形態１〜実施の形態４の画像符号化方法および画像復号方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図
【図１６】Ｂピクチャの概念図
【図１７】補間予測の説明図
【図１８】フレーム番号と相対インデックスの説明図
【図１９】短期フレームバッファと長期フレームバッファの概念図
【図２０】従来の画像符号化装置のダイレクトモードの説明図
【図２１】従来の画像符号化装置の画像符号化信号フォーマットの概念図
【図２２】従来の画像符号化装置の構成を示すブロック図
【図２３】従来の画像復号装置の構成を示すブロック図
【図２４】コンテンツ供給システムの全体構成を示すブロック図
【図２５】携帯電話の外観を示す図
【図２６】携帯電話の構成を示す図
【図２７】本実施の形態で示した画像符号化装置または画像復号化装置の応用例を示す図
【符号の説明】
ＩｍｇＥｎｃ　画像符号化手段
ＩｍｇＤｅｃ　画像復号化手段
Ａｄｄ　　加算器
Ｓｕｂ　　減算器
ＭＦｒｍＢｕｆ　マルチフレームバッファ
ＭＥ　動き推定手段
ＶＬＣ０，　ＶＬＣ４，ＶＬＣ５　可変長符号化手段
ＶＬＤ０，　ＶＬＤ４，ＶＬＤ５　可変長復号手段
ＭＶＢｕｆ　動きベクトルバッファ
Ｐｏｌ　画素補間手段
ＧｅｎＭＶＲＩｄｘダイレクトモード用ベクトル・相対インデックス生成手段
ＭＶＦＮＢｕｆ　動きベクトル・フレーム番号バッファ
ＭＶＢｕｆ　動きベクトルバッファ
ＳＰＴａｂｌｅ　ダイレクトモード用スケーリング係数表バッファ
ＳＰＳｅｌ　ダイレクトモード用スケーリング係数選択手段
ＰｒｅｄＳｅｌ　予測種別選択手段
ＳＰＰｒｅｄＴａｂｌｅ　ダイレクトモード用スケーリング係数・予測方法表バッファ
ＳＰＰｒｅｄＳｅｌ　ダイレクトモード用スケーリング係数・予測方法選択手段
ＳＷ１１〜ＳＷ１３，．ＳＷ２１〜ＳＷ２３　スイッチ
Ｃｓ　コンピュータ・システム
ＦＤ　フレキシブルディスク
ＦＤＤ　フレキシブルドライブ

Claims (10)

1. マルチフレームバッファに格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、
   前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、
   入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップと
   を有する画像符号化方法における第二のステップにおいて、
   前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
   前記動きベクトルからスケーリングにより前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出するときに用いる、第１相対インデックスの値と対応付けられたスケーリング係数を１個以上格納したスケーリング係数表を備え、前記第１相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出し、
   前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、前記第三のステップにおいて、
   画像符号化信号中に前記スケーリング係数表を含めて出力することを特徴とする画像符号化方法。
2. 予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、
   マルチフレームバッファに格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二ステップと、
   前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、
   前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、
   フレーム間予測に使用される可能性があるフレームの復号画像をマルチフレームバッファに格納する第五のステップと
   を有する画像復号方法における第一のステップにおいて、
   画像符号化信号中のスケーリング係数表を復号し、前記第二のステップにおいて、
   前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、前記第三のステップにおいて、
   前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
   前記動きベクトルからスケーリングにより前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出するときに用いる、前記第１相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを特徴とする画像復号方法。
3. マルチフレームバッファに格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、
   前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、
   入力された符号化対象フレームと前記予測画像との差である予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップと
   を有する画像符号化方法における第二のステップにおいて、
   前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
   前記動きベクトルからスケーリングにより前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出するときに用いる、第１相対インデックスの値と対応付けられたスケーリング係数、および、画素補間あるいは第１の参照フレームからの予測あるいは第２の参照フレームからの予測を示す予測方法種別を１個以上格納したスケーリング係数・予測方法表を備え、
   前記第１相対インデックスに対応するスケーリング係数と予測方法種別を前記スケーリング係数・予測方法表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出し、
   予測方法種別が画素補間の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、
   予測方法種別が第１の参照フレームからの予測の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、
   予測方法種別が第２の参照フレームからの予測の場合には、前記第２の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、前記第三のステップにおいて、
   画像符号化信号中に前記スケーリング係数・予測方法表を含めて出力する
   ことを特徴とする画像符号化方法。
4. 予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、
   マルチフレームバッファに格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二ステップと、
   前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、
   前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、
   フレーム間予測に使用される可能性があるフレームの復号画像をマルチフレームバッファに格納する第五のステップと
   を有する画像復号方法における第一のステップにおいて、
   画像符号化信号中のスケーリング係数・予測方法表を復号し、前記第二のステップにおいて、
   前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、前記第三のステップにおいて、
   前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
   前記動きベクトルからスケーリングにより前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出するときに用いる、前記第１相対インデックスに対応するスケーリング係数と予測方法種別を前記スケーリング係数・予測方法表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームに対する動きベクトルとを算出し、
   予測方法種別が画素補間の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、
   予測方法種別が第１の参照フレームからの予測の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、
   予測方法種別が第２の参照フレームからの予測の場合には、前記第２の参照フレームに対する動きベクトルから得られるブロックを予測画像とすることを特徴とする画像復号方法。
5. 画像信号を入力し、前記画像信号と予測画像との差分を行い残差信号として出力する差分器と、前記差分信号に画像符号化処理を行い残差符号化信号として出力する画像符号化手段と、前記残差符号化信号を復号して残差復号信号として出力する画像復号手段と、前記残差復号信号と予測画像を加算して再構成画像を出力する加算器と、前記再構成画像を格納するマルチフレームバッファと、第１相対インデックスの値と対応付けられたスケーリング係数を１個以上格納したスケーリング係数表と、前記選択された参照フレーム内で符号化対象ブロックと同一位置のブロックの動きベクトルが参照するフレームを第１の参照フレーム、前記選択された参照フレームを第２の参照フレームとし、前記第１の参照フレームへの相対インデックスである第１の相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択するダイレクトモード用スケーリング係数選択手段と、前記スケーリング係数と前記動きベクトルから所定の方法により第１の参照フレームと第２の参照フレームへの動きベクトルを生成するダイレクトモード用ベクトル・相対インデックスと生成手段と、第１の参照フレームに対する動きベクトルと第２の参照フレームに対する動きベクトルが参照する２つの参照ブロックの画素補間を行い予測画像として出力する画素補間手段と、予測誤差と前記スケーリング係数表を可変長符号化して符号化信号として出力する可変長符号化手段を備えたものであることを特徴とする画像符号化装置。
6. 画像符号化信号を入力し可変長復号を行い、残差符号化信号とスケーリング係数表を出力する可変長復号手段と、前記残差符号化信号を復号し復号残差信号を出力する画像復号手段と、前記残差復号信号と予測画像信号を加算し復号画像を出力する加算器と、前記復号画像を格納するマルチフレームバッファと、前記選択された参照フレーム内で符号化対象ブロックと同一位置のブロックの動きベクトルが参照するフレームを第１の参照フレーム、前記選択された参照フレームを第２の参照フレームとし、前記第１の参照フレームへの相対インデックスである第１の相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択するダイレクトモード用スケーリング係数選択手段と、前記スケーリング係数と前記動きベクトルから所定の方法により第１の参照フレームと第２の参照フレームへの動きベクトルを生成するダイレクトモード用ベクトル・相対インデックスと生成手段と、前記第１の参照フレームに対し前記第１の動きベクトルが参照するブロックと前記第２の参照フレームに対し前記第２の動きベクトルが参照するブロックの画素補間を行い前記予測画像信号として出力する画素補間手段を備えたものであることを特徴とする画像復号装置。
7. コンピュータにより、画像符号化を行うためのプログラムを格納した記憶媒体であって、上記プログラムはコンピュータに、マルチフレームバッファに格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、
   前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、
   前記予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第二のステップにおいて、
   前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
   第１相対インデックスの値と対応付けられたスケーリング係数を１個以上格納したスケーリング係数表を備え、前記第１相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、
   前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、
   前記第三のステップにおいて、
   画像符号化信号中に前記スケーリング係数表を含めて出力することを、行わせるものであることを特徴とする記憶媒体。
8. コンピュータにより、画像復号を行うためのプログラムを格納した記憶媒体であって、上記プログラムはコンピュータに、
   予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、
   マルチフレームバッファに格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二ステップと、
   前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、
   前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、
   フレーム間予測に使用される可能性があるフレームの復号画像をマルチフレームバッファに格納する第五のステップと
   を有する画像復号方法における第一のステップにおいて、
   画像符号化信号中のスケーリング係数表を復号し、
   前記第二のステップにおいて、
   前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、
   前記第三のステップにおいて、
   前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、前記第１相対インデックスに対応するスケーリング係数を前記スケーリング係数表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成することを行わせるものであることを特徴とする記憶媒体。
9. コンピュータにより、画像符号化を行うためのプログラムを格納した記憶媒体であって、上記プログラムはコンピュータに、
   マルチフレームバッファに格納されている複数の符号化済フレームから、符号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記符号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第一のステップと、
   前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第二のステップと、
   前記予測誤差を符号化し、予測誤差の符号化信号を含む画像符号化信号を出力する第三のステップとを有する画像符号化方法における第二のステップにおいて、
   前記第２の参照フレーム内で、前記符号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
   第１相対インデックスの値と対応付けられたスケーリング係数、および、画素補間あるいは第１の参照フレームからの予測あるいは第２の参照フレームからの予測を示す予測方法種別を１個以上格納したスケーリング係数・予測方法表を備え、
   前記第１相対インデックスに対応するスケーリング係数と予測方法種別を前記スケーリング係数・予測方法表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、
   予測方法種別が画素補間の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、予測方法種別が第１の参照フレームからの予測の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、予測方法種別が第２の参照フレームからの予測の場合には、前記第２の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、
   前記第三のステップにおいて、
   画像符号化信号中に前記スケーリング係数・予測方法表を含めて出力すること
   を行わせるものであることを特徴とする記憶媒体。
10. コンピュータにより、画像復号を行うためのプログラムを格納した記憶媒体であって、上記プログラムはコンピュータに、
    予測誤差の符号化信号を含む画像符号化信号を入力する第一のステップと、
    マルチフレームバッファに格納されている複数の復号化済フレームから、復号化対象フレーム上のブロックを動き補償により求めるときに参照する第１の参照フレームと第２の参照フレームとを選択するために、前記復号化済フレームに対して付与された第１相対インデックスと第２相対インデックスとを用いて、前記第１または第２少なくとも一方の参照フレームを選択する第二ステップと、
    前記第１または第２少なくとも一方の参照フレーム上の動き補償により得られたブロックから画素補間により予測画像を生成する第三のステップと、
    前記予測画像と復号した予測誤差からフレームの復号画像を生成する第四のステップと、
    フレーム間予測に使用される可能性があるフレームの復号画像をマルチフレームバッファに格納する第五のステップとを有する画像復号方法における第一のステップにおいて、
    画像符号化信号中のスケーリング係数・予測方法表を復号し、
    前記第二のステップにおいて、
    前記復号化済フレームのうち前記復号化対象フレームより表示順が後で前記第２相対インデックスが最小の参照フレームを前記第２の参照フレームとして選択し、
    前記第三のステップにおいて、
    前記第２の参照フレーム内で、前記復号化対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使用した動きベクトルが参照するフレームを前記第１の参照フレームとし、
    前記第１相対インデックスに対応するスケーリング係数と予測方法種別を前記スケーリング係数・予測方法表から選択し、前記動きベクトルと前記スケーリング係数から前記第１の参照フレームに対する動きベクトルと前記第２の参照フレームへの算出し、
    予測方法種別が画素補間の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックと前記第２の参照フレームに対する動きベクトルから得られるブロックとから画素補間により予測画像を生成し、予測方法種別が第１の参照フレームからの予測の場合には、前記第１の参照フレームに対する動きベクトルから得られるブロックを予測画像とし、予測方法種別が第２の参照フレームからの予測の場合には、前記第２の参照フレームに対する動きベクトルから得られるブロックを予測画像とすることを行わせるものであることを特徴とする記憶媒体。

Images