JP2004343408A - 補間フレーム作成装置、画像復号化装置、補間フレーム作成方法および補間フレーム作成プログラム - Google Patents

Abstract

【課題】本発明の課題は、補間フレーム用メモリを削減することが可能な補間フレーム作成装置、画像復号化装置、補間フレーム作成方法および補間フレーム作成プログラムを提供することにある。
【解決手段】補間フレーム作成部１１１は、画像フレームを補間するための補間フレームを作成する補間フレーム作成部であって、画像フレーム用メモリ１０７と、作成処理部１０８とを備えている。画像フレーム用メモリ１０７は、補間フレームを作成する基準となる基準フレームを記憶する。作成処理部１０８は、１つの補間用ベクトルに基づいて、画像フレーム用メモリ１０７に記憶された基準フレームの読み出しを制御し、補間フレームとして出力させる。１つの補間用ベクトルは、基準フレームと補間フレームとの相対的な動きを画素を単位として示す。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
補間フレーム作成装置、特に、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置に関する。本発明は、さらに、画像復号化装置、補間フレーム作成方法、および補間フレーム作成プログラムに関する。
【０００２】
【従来の技術】
テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示する装置において、画像信号を構成する画像フレームから、画像フレームを補間する補間フレームを作成し、作成された補間フレームを画像フレームに内挿して表示させる技術が知られている。この技術は、例えば、情報量を削減するため低フレームレートで伝送された画像信号を滑らかに表示することなどを目的として利用されている。
【０００３】
図２４に、上記従来技術を実現するための補間フレーム作成装置４０１を示す。補間フレーム作成装置４０１は、入力画像信号４１０を構成する画像フレームを補間する補間フレームを作成し、画像フレームと補間フレームとから構成される出力画像信号４１１を出力する装置である。補間フレーム作成装置４０１は、主に、動き補償符号化された符号化画像信号を復号化する画像復号化装置などにおいて備えられており（例えば、特許文献１参照）、動き補償ベクトルＭＣＶを利用して補間フレームを作成する。
【０００４】
補間フレーム作成装置４０１は、画像フレーム用メモリ４０２と、補間フレーム作成部４０３と、補間フレーム用メモリ４０４と、信号切換部４０５とから構成される。
【０００５】
画像フレーム用メモリ４０２は、入力画像信号４１０を画像フレーム毎に記憶する。
【０００６】
補間フレーム作成部４０３は、画像フレーム用メモリ４０２に記憶された画像フレームのうち、補間フレームを作成する基準となる基準フレームと、符号化画像信号を復号化する際などに得られる動き補償ベクトルＭＣＶとから補間フレームを作成する。具体的には、基準フレームを構成する画像ブロックについての動き補償ベクトルＭＣＶを補間フレームの内挿比に従って内分し、内分された動き補償ベクトルＭＣＶを用いて画像ブロックを変位させ、補間フレームを構成する画素領域を作成する。
【０００７】
補間フレーム用メモリ４０４は、補間フレーム作成部４０３により作成される画素領域を順次記憶し、補間フレームとする。
【０００８】
信号切換部４０５は、画像フレーム用メモリ４０２が記憶する画像フレームと補間フレーム用メモリ４０４が記憶する補間フレームとを制御部（図示せず）からの制御により切り換えて、出力画像信号４１１として出力する。
【０００９】
【特許文献１】
特開平７−１７７５１４号公報（第１図）
【００１０】
【発明が解決しようとする課題】
従来の補間フレーム作成装置が動き補償ベクトルを用いて補間フレームを作成する際には、画像フレーム用メモリと補間フレーム用メモリとを必要する。これは、基準フレームを画像ブロック毎に処理し、処理結果を順次補間フレーム用メモリに記憶させる必要があるからである。
【００１１】
しかし、補間フレーム作成装置のコスト削減および回路規模削減のため、できるだけ少ないメモリで装置を構成することが望まれる。
【００１２】
また、動き補償ベクトルを用いず、基準フレームを構成する画像ブロックの動きベクトルを用いた補間フレーム作成装置においても、同様にメモリの削減が望まれる。
【００１３】
そこで、本発明では、補間フレーム用メモリを削減することが可能な補間フレーム作成装置、画像復号化装置、補間フレーム作成方法および補間フレーム作成プログラムを提供することを課題とする。
【００１４】
【課題を解決するための手段】
請求項１に記載の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、記憶手段と、制御手段とを備えている。記憶手段は、補間フレームを作成する基準となる基準フレームを記憶する。制御手段は、１つの補間用ベクトルに基づいて、記憶手段に記憶された基準フレームの読み出しを制御し、補間フレームとして出力させる。１つの補間用ベクトルは、基準フレームと補間フレームとの相対的な動きを画素を単位として示す。
【００１５】
ここで、記憶手段は、例えば、画像フレームを少なくとも１枚以上記憶できるフレームメモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどで構成される（以下、この欄において同じ）。また、フレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってもよい（以下、この欄において同じ）。
【００１６】
１つの補間用ベクトルは、基準フレームと補間フレームとの画素単位のずれを示すベクトルである。制御手段は、１つの補間用ベクトルに基づいて、記憶手段に記憶された基準フレームのアドレスを指定して読み出し、補間フレームとして出力させる。ここで、指定されるアドレスは、１つの補間用ベクトルに応じて決定される。
【００１７】
この補間フレーム作成装置では、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【００１８】
請求項２に記載の補間フレーム作成装置は、請求項１に記載の補間フレーム作成装置であって、制御手段は、基準フレームの動きに関する動き関連情報に基づいて、１つの補間用ベクトルを導出する。
【００１９】
ここで、動き関連情報とは、例えば、基準フレームを復号化するための符号化画像信号を構成する符号化ブロック毎の動き補償ベクトル、あるいは基準フレームを構成する画像ブロック毎について検出された動きベクトルなどである。
【００２０】
制御手段は、動き関連情報に基づいて、基準フレームと補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルを導出する。動き補償ベクトルあるいは動きベクトルは、整数画素精度でなくても良いが、導出される１つの補間用ベクトルは、整数画素を単位とする。また、１つの補間用ベクトルは、例えば、画像ブロック毎に得られる動き関連情報の全部あるいは一部の平均値あるいは最頻値を補間フレームの内挿比で内分あるいは外分したベクトルとして導出される。ここで、内挿比は、例えば、動き関連情報が示すフレームと補間フレームとの位置に基づいて定められる。より具体的には、例えば、内挿比は、基準フレームと基準フレームの動き関連情報を導出する際に参照する画像フレームである参照フレームとの時間的距離に対する、基準フレームと補間フレームとの時間的距離の割合などとして定められる。
【００２１】
この補間フレーム作成装置では、制御手段は、基準フレームの動き関連情報から導出された１つの補間用ベクトルに基づいて、基準フレームの読み出しを制御し、補間フレームを出力させる。このため、画像フレームを滑らかに補間する補間フレームを作成することが可能となる。
【００２２】
請求項３に記載の補間フレーム作成装置は、請求項２に記載の補間フレーム作成装置であって、制御手段は、動き関連情報の大きさに基づいて、補間フレームの作成枚数を変化させる。
【００２３】
制御手段は、例えば、動き関連情報が大きい場合、補間フレームの作成枚数を増加させる。すなわち、動き関連情報が大きい場合には、１つの補間用ベクトルを導出する時間間隔を短くするとともに、記憶手段に補間フレームを出力させる時間間隔を短くする。
【００２４】
この補間フレーム作成装置では、画像フレームをより滑らかに補間する補間フレームを作成することが可能となる。
【００２５】
請求項４に記載の補間フレーム作成装置は、請求項１〜３のいずれかに記載の補間フレーム作成装置であって、基準フレームは、補間フレームに対して、表示順が時間的に後方の画像フレームである。
【００２６】
この補間フレーム作成装置は、補間フレームを出力する際に、補間フレームに対して、表示順が時間的に後方の基準フレームのみを利用する。このため、基準フレームに対して、表示順が時間的に前方の画像フレームを記憶していた記憶手段のメモリ領域は、補間フレームの出力前に解放される。
【００２７】
この補間フレーム作成装置では、補間フレームを出力するためには、記憶手段には、基準フレームのみが記憶されていればよい。このため、記憶手段の備えるメモリ領域を有効に利用すること、あるいは記憶手段のメモリ領域を削減することが可能となる。
【００２８】
請求項５に記載の画像復号化装置は、復号化手段と、記憶手段と、制御手段とを備えている。復号化手段は、動き補償符号化された符号化画像信号を復号化する。記憶手段は、復号化された画像フレームを記憶する。制御手段は、記憶手段により、画像フレームを補間するための補間フレームを出力させる手段であって、１つの補間用ベクトルに基づいて、記憶手段に記憶された基準フレームの読み出しを制御し、補間フレームとして出力させる。１つの補間用ベクトルは、補間フレームを作成する基準となる基準フレームと補間フレームとの相対的な動きを画素を単位として示す。
【００２９】
ここで、符号化画像信号は、例えば、Ｈ．２６１符号化、ＭＰＥＧ−１符号化、ＭＰＥＧ−２符号化あるいはＭＰＥＧ−４符号化などにより動き補償符号化された画像信号である。
【００３０】
１つの補間用ベクトルは、基準フレームと補間フレームとの画素単位のずれを示すベクトルである。制御手段は、１つの補間用ベクトルに基づいて、記憶手段に記憶された基準フレームを、例えば、アドレス指定により読み出し、補間フレームを出力させる。このとき、指定されるアドレスは、１つの補間用ベクトルに基づいて変更される。
【００３１】
この画像復号化装置では、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【００３２】
請求項６に記載の画像復号化装置は、請求項５に記載の画像復号化装置であって、基準フレームは、補間フレームに対して、表示順が時間的に後方の画像フレームである。
【００３３】
この画像復号化装置は、補間フレームを出力する際に、補間フレームに対して、表示順が時間的に後方の基準フレームのみを利用する。
【００３４】
この補間フレーム作成装置では、補間フレームを出力するためには、記憶手段には、基準フレームのみが記憶されていればよい。このため、記憶手段の備えるメモリ領域を有効に利用すること、あるいは記憶手段のメモリ領域を削減することが可能となる。
【００３５】
請求項７に記載の画像復号化装置は、請求項６に記載の画像復号化装置であって、記憶手段は、画像フレームを１枚ずつ交互に記憶する２つのメモリ領域を有している。
【００３６】
ここで、２つのメモリ領域とは、物理的に独立した記憶手段であっても、１つの記憶手段に設けられる仮想的な領域であってもよい。
【００３７】
記憶手段は、復号化された画像フレームを１枚ずつ交互に記憶する。２つのメモリ領域には、表示順が時間的に前後する画像フレームが記憶される。表示順が時間的に前方の画像フレームは、時間的に後方の画像フレームを復号化する際に利用可能となっている。制御手段は、時間的に後方の画像フレームを基準フレームとして、基準フレームの読み出しを制御し、補間フレームを出力させる。この際、時間的に前方の画像フレームを記憶しているメモリ領域を解放することが可能である。
【００３８】
この画像復号化装置では、基準フレームに対して時間的に前方の画像フレームを記憶していた記憶手段のメモリ領域は、補間フレームの出力前に解放される。このため、基準フレームに対して時間的に後方の画像フレームを基準フレームを利用して復号化しつつ、基準フレームに対して時間的に前方の画像フレームを記憶していた記憶手段のメモリ領域に記憶することが可能となる。これにより、記憶手段の備えるメモリ領域を有効に利用すること、あるいは記憶手段のメモリ領域を削減することが可能となる。
【００３９】
請求項８に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、ベクトル導出ステップと、補間フレーム作成ステップとを備えている。ベクトル導出ステップは、補間フレームを作成する基準となる基準フレームと補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルを導出する。補間フレーム作成ステップは、導出された１つの補間用ベクトルに基づいて、記憶された基準フレームの読み出しを制御し、補間フレームを作成する。
【００４０】
１つの補間用ベクトルは、基準フレームと補間フレームとの画素単位のずれを示すベクトルである。補間フレーム作成ステップは、１つの補間用ベクトルに基づいて、記憶手段に記憶された基準フレームのアドレスを指定して読み出し、補間フレームとして出力させる。ここで、指定されるアドレスは、１つの補間用ベクトルに応じて決定される。
【００４１】
この補間フレーム作成方法では、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【００４２】
請求項９に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、ベクトル導出ステップと、補間フレーム作成ステップを備える補間フレーム作成方法を行わせるものである。ベクトル導出ステップは、補間フレームを作成する基準となる基準フレームと補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルを導出する。補間フレーム作成ステップは、導出された１つの補間用ベクトルに基づいて、記憶された基準フレームの読み出しを制御し、補間フレームを作成する。
【００４３】
１つの補間用ベクトルは、基準フレームと補間フレームとの画素単位のずれを示すベクトルである。補間フレーム作成ステップは、１つの補間用ベクトルに基づいて、記憶手段に記憶された基準フレームのアドレスを指定して読み出し、補間フレームとして出力させる。ここで、指定されるアドレスは、１つの補間用ベクトルに応じて決定される。
【００４４】
この補間フレーム作成プログラムでは、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【００４５】
【発明の実施の形態】
［第１実施形態］
本発明の第１実施形態について、図１〜図１６を用いて説明する。
【００４６】
（１）画像復号化装置１０１
図１に、本発明の第１実施形態としての画像復号化装置１０１を示す。画像復号化装置１０１は、動き補償符号化された符号化画像信号１１５から画像フレームを復号化する装置である。さらに、画像復号化装置１０１は、復号化された画像フレームを補間する補間フレームを作成し、画像フレームと補間フレームとから構成される出力画像信号１１６を出力する。すなわち、画像復号化装置１０１は、符号化画像信号１１５から画像フレームを復号化するとともに、フレーム周波数を変換し、出力画像信号１１６を出力する装置である。
【００４７】
画像復号化装置１０１は、例えば、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の出力画像信号１１６を表示させる装置に内蔵あるいは接続される。
【００４８】
ここで、動き補償符号化とは、画像信号を構成する画像フレーム間の時間的冗長度を削減し情報量を圧縮することを目的とし、画像フレームを構成する画像ブロックの動き補償ベクトルを用いて行われる符号化である。例えば、動画像信号圧縮の国際規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、符号化に際して、画面内符号化と画面間予測符号化の２つの符号化方法が用いられる。画面内符号化は、画像フレームをそのフレーム内の情報だけで符号化する方法であり、この方法で符号化された画像フレームをＩピクチャと呼んでいる。画面間予測符号化とは、画像フレームをそのフレーム内の情報と他のフレームの情報との両方を用いて符号化する方法であり、この方法で符号化された画像フレームをＰピクチャまたはＢピクチャと呼んでいる。さらに、ＰピクチャまたはＢピクチャにおいては、画面間予測符号化に動き補償符号化を適用した動き補償画面間符号化が用いられている。
【００４９】
第１実施形態では、符号化画像信号１１５がＩピクチャとＰピクチャとで符号化された画像信号であるとして以下説明を行う。
【００５０】
（１−１）画像復号化装置１０１の構成
図１に示す画像復号化装置１０１は、復号化部１１０と、補間フレーム作成部１１１とから構成される。復号化部１１０は、可変長復号化部１０２と、逆量子化部１０３と、逆直交変換部１０４と、動き補償部１０５とを有している。補間フレーム作成部１１１は、画像フレーム用メモリ１０７と、作成処理部１０８とを有している。
【００５１】
可変長復号化部１０２は、符号化画像信号１１５から、画像フレームを構成する画像ブロックの符号化情報を復号化し、符号化モード、動き補償ベクトルＭＣＶ、量子化情報および量子化ＤＣＴ係数などを分離する。言い換えれば、可変長復号化部１０２は、動き補償符号化された符号化画像信号１１５を可変長復号化する。
【００５２】
逆量子化部１０３は、量子化ＤＣＴ係数から量子化ステップの変換対応表に基づいてＤＣＴ係数を出力する。言い換えれば、逆量子化部１０３は、可変長復号化部１０２により出力された可変長復号化信号を逆量子化する。
【００５３】
逆直交変換部１０４は、ＤＣＴ係数を画素データに変換する。言い換えれば、逆直交変換部１０４は、逆量子化部１０３により出力された逆量子化信号を逆直交変換する。
【００５４】
画素データは、画面内符号化された画像ブロックの場合、そのまま画像フレームを構成する復号化画像信号１１７として出力される。一方、画面間予測符号化された画像ブロックの場合、動き補償部１０５で作成された動き補償予測画素データが加算され、画像フレームを構成する復号化画像信号１１７として出力される。復号化画像信号１１７は、画像フレーム毎に画像フレーム用メモリ１０７に記憶される。言い換えれば、画像フレーム用メモリ１０７は、動き補償予測画素データと逆直交変換部１０４により出力された逆直交変換信号とに基づいて作成された画像フレームを記憶する。
【００５５】
動き補償部１０５は、符号化画像信号１１５から分離された動き補償ベクトルＭＣＶと、画像フレーム用メモリ１０７が記憶する画像フレームとから動き補償予測画素データを作成する。言い換えれば、動き補償部１０５は、可変長復号化部１０２により出力された可変長復号化信号のうち動き補償ベクトルＭＣＶに基づいて、動き補償予測画素データを出力する。
【００５６】
補間フレーム作成部１１１は、符号化画像信号１１５から分離された動き補償ベクトルＭＣＶに基づいて、画像フレーム用メモリ１０７が記憶する画像フレームのアドレスを指定して読み出し、補間フレームとして出力させる。画像フレーム用メモリ１０７は、記憶する画像フレームを所定の時間間隔で出力するとともに、作成処理部１０８の制御を受けて、記憶する画像フレームを補間フレームとして出力する。すなわち、画像フレーム用メモリ１０７から画像フレームと補間フレームとから構成される出力画像信号１１６が出力される。補間フレーム作成部１１１の動作については、後ほど詳しく説明を加える。
【００５７】
以下、補間フレームとして読み出す対象となる画像フレームを特に「基準フレーム」という。
【００５８】
（１−２）補間フレーム作成部１１１の動作
補間フレーム作成部１１１は、上述のように、画像フレーム用メモリ１０７と、作成処理部１０８とを有している。
【００５９】
画像フレーム用メモリ１０７は、２つのフレームメモリである第１メモリ１２０および第２メモリ１２１を有している。第１メモリ１２０および第２メモリ１２１は、復号化画像信号１１７を画像フレーム毎に交互に記憶する。ここで、第１メモリ１２０および第２メモリ１２１は、例えば、画像フレームを少なくとも１枚以上記憶できるフレームメモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどで構成される
また、画像フレーム用メモリ１０７は、作成処理部１０８の制御を受けて、記憶する基準フレームを補間フレームとして出力する。
【００６０】
作成処理部１０８は、動き補償ベクトルＭＣＶに基づいて、基準フレームと補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルを導出する。さらに、１つの補間用ベクトルに基づいて、基準フレームを記憶する第１メモリ１２０あるいは第２メモリ１２１の読み出しアドレスを変更して読み出し、補間フレームを出力させる。
【００６１】
（１−２−１）１つの補間用ベクトルの導出
図２を用いて、１つの補間用ベクトルの導出について説明する。図２（ａ）は、復号化画像信号１１７を構成する画像フレームを示している。図２の左方から右方に向かって、時間経過を示している。すなわち、画像フレームＩ０から画像フレームＰ４に向かう方向が時間的に後方に表示される順番となる。以降、特に断らない場合は、表示順であるものとする。図２（ａ）の各画像フレームの符号のアルファベット部（Ｉ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，・・・のＩ，Ｐ，Ｐ，Ｐ，・・・）は、それぞれの画像フレームの符号化の際のピクチャタイプを示している。また、図２（ａ）では、符号化の際に動き補償を行った画像フレーム同士を矢印で関係づけて表している。すなわち、矢印の根に位置する画像フレームの符号化に際して、矢印の先に位置する画像フレーム（以下、符号化参照フレームという）を参照して、動き補償符号化したことを表している。
【００６２】
以下、画像フレームＰ３を基準フレームとして、画像フレームＰ２と画像フレームＰ３とを補間する補間フレームＣＦ３（図２（ｄ）参照）を作成する場合について説明する。
【００６３】
図２（ｂ）は、作成処理部１０８が取得した画像フレームＰ３の動き補償ベクトルＭＣＶ３である。動き補償ベクトルＭＣＶ３は、画像フレームＰ３を構成する画像ブロック毎に取得された動き補償ベクトルである。動き補償ベクトルＭＣＶ３は、符号化参照フレームである画像フレームＰ２を構成する画素領域に対する、画像フレームＰ３の画像ブロックの動きを表している。
【００６４】
図２（ｃ）は、動き補償ベクトルＭＣＶ３を代表する１つの代表ベクトルＶ３を表している。ここで、代表ベクトルＶ３は、▲１▼画像フレームＰ３全体の動き補償ベクトルＭＣＶ３の平均値、▲２▼画像フレームＰ３の外周縁に位置する画像ブロックの動き補償ベクトルＭＣＶ３の平均値、▲３▼画像フレームＰ３の中央部に位置する画像ブロックの動き補償ベクトルＭＣＶ３の平均値、▲４▼画像フレームＰ３中の所定の画像ブロック以外の動き補償ベクトルＭＣＶ３の平均値、▲５▼画像フレームＰ３全体の動き補償ベクトルＭＣＶ３の最頻値などとして導出される。ここで、▲４▼の所定の画像ブロックとは、例えば、画面内符号化され、動き補償ベクトルを有しない画像ブロックなどである。
【００６５】
図２（ｄ）は、１つの代表ベクトルＶ３を内分する１つの補間用ベクトルＣＶ３を表している。また１つの補間用ベクトルＣＶ３は、整数成分を有するように作成される。すなわち、１つの補間用ベクトルＣＶ３は、画像フレームＰ３と補間フレームＣＦ３との相対的な動きを画素を単位として示している。
【００６６】
作成処理部１０８は、１つの代表ベクトルＶ３の大きさに対する１つの補間用ベクトルＣＶ３の大きさの割合が［ｔ］の場合、画像フレームＰ２と画像フレームＰ３との時間的距離を［（１−ｔ）：ｔ］に内分するタイミングで、補間フレームＣＦ３を出力する。すなわち、補間フレームＣＦ３を出力するタイミング（補間フレームＣＦ３の画像フレームＰ２およびＰ３に対する内挿位置）は、作成された１つの補間用ベクトルＣＶ３の大きさによって変化することとなる。作成処理部１０８は、画像フレーム用メモリ１０７に対して、画像フレームＰ３を記憶するアドレスの指定を行い、補間フレームＣＦ３の読み出しを行わせる。
【００６７】
なお、１つの補間用ベクトルＣＶ３は、１つの代表ベクトルＶ３を近似的に内分するものであってもよい。例えば、２次元のベクトルとして表現される１つの代表ベクトルＶ３を内分し、かつ、一方のベクトル成分が整数である内分ベクトルを導出する。さらに、導出された内分ベクトルの他の一方のベクトル成分を四捨五入などにより整数とする。これにより、双方のベクトル成分が整数である１つの補間用ベクトルＣＶ３を作成する。この場合、補間フレームを作成するタイミングは、１つの代表ベクトルＶ３の大きさに対する内分ベクトルの大きさの割合によって決定される。
【００６８】
（１−２−２）アドレスの指定
〈１〉
図３を用いて、作成処理部１０８による、画像フレームＰ３を記憶するアドレスの指定について説明する。
【００６９】
図３は、１つの補間用ベクトルＣＶ３により仮想的に変位された画像フレームＰ３’を示している。画像フレームＰ３’と補間フレームＣＦ３とは、重複領域１３０において重複している。また、１つの補間用ベクトルＣＶ３は、整数成分を有し、画素を単位とした動きを表している。このため、重複領域１３０では、画像フレームＰ３’と補間フレームＣＦ３との画素同士が丁度重なり合い、画素単位でずれることなく構成されている。
【００７０】
補間フレームＣＦ３の作成が行われる際に、作成処理部１０８は、画像フレーム用メモリ１０７のアドレスを指定して読み出しを行わせる。具体的には、作成処理部１０８は、重複領域１３０に対応する画像フレームＰ３上の領域１３１を記憶するアドレスを指定し、補間フレームＣＦ３の重複領域１３０を出力させる。また、補間フレームＣＦ３上の重複領域１３０以外の領域である非重複領域１３５についても、作成処理部１０８は、画像フレームＰ３の画素値を記憶するアドレスを指定して出力を行わせる。
【００７１】
図４および図５を用いて、さらに詳しく説明する。
図４は、図３の補間フレームＣＦ３を含む平面における補間フレームＣＦ３と画像フレームＰ３’との位置関係を示している。
【００７２】
ここで、説明の容易のため、補間フレームＣＦ３および画像フレームＰ３（画像フレームＰ３’）は、８画素のフレーム幅を持つラインを６ライン持つとする。すなわち、縦６画素、横８画素からなるとする。さらに、画像フレームＰ３（画像フレームＰ３’）のｉ行ｊ列（１≦ｉ≦６，１≦ｊ≦８）の画素値を記憶する画像フレーム用メモリ１０７のアドレスを［ｂｉｊ］とする。また、１つの補間用ベクトルＣＶ３は、図４の右方向をｘ方向、上方向をｙ方向として、（ｘ，ｙ）＝（−３，２）と表されているとする。すなわち、ｘ方向に［−３画素］、ｙ方向に［２画素］の成分を有しているとする。
【００７３】
作成処理部１０８は、補間フレームＣＦ３を作成する際に、ラスタ走査の要領で、画像フレームＰ３を記憶する画像フレーム用メモリ１０７のアドレスを指定する。すなわち、補間フレームＣＦ３の左上の画素１３２から右方向に向かってアドレスの指定を繰り返し、右下の画素１３３までのアドレスの指定を行う。
【００７４】
例えば、図４では、作成処理部１０８は、補間フレームＣＦ３の左上の画素１３２の画素値を記憶するアドレスとして、アドレス［ｂ３４］を指定する。さらに、右方向に向かって、アドレス［ｂ３５］〜［ｂ３８］の指定を行う。
【００７５】
ここで、画像フレームＰ３’と補間フレームＣＦ３との非重複領域１３５については、画像フレーム用メモリ１０７の記憶する画像フレームＰ３の画素値を用いて補完する。
【００７６】
図５を用いて、非重複領域１３５の補完について説明する。
作成処理部１０８は、重複領域１３０の端の画素１３４に対してアドレス［ｂ３８］を指定した後は、重複領域１３０の端の画素１３４に対して指定したアドレス［ｂ３８］を、必要回数繰り返し指定する。ここで、繰り返し回数は、１つの補間用ベクトルＣＶ３のｘ方向成分から導出可能である。すなわち、画像フレームＰ３’と補間フレームＣＦ３とのｘ方向のずれの量を示す、１つの補間用ベクトルＣＶ３のｘ方向成分の大きさだけ重複領域１３０の端画素１３４に対して指定したアドレス［ｂ３８］を繰り返す。図５では、３回繰り返してアドレス［ｂ３８］を指定している。同様にして、重複領域１３０の最終ライン（最も下に位置するライン）が属するライン１３６までのアドレスの指定を行う
さらに、補間フレームＣＦ３の残りのラインについては、ライン１３６で指定したアドレスを、必要回数繰り返し指定する。ここで、繰り返し回数は、１つの補間用ベクトルＣＶ３のｙ方向成分から導出可能である。すなわち、画像フレームＰ３’と補間フレームＣＦ３とのｙ方向のずれの量を示す、１つの補間用ベクトルＣＶ３のｙ方向成分の大きさだけライン１３６で指定したアドレスを繰り返す。図５では、ライン１３６で指定したのと同じアドレスが２回繰り返して指定されている。
【００７７】
以上により、補間フレームＣＦ３の読み出しが完了する。
なお、アドレスはラスタ走査の要領で指定しなくてもよい。例えば、図４では、作成処理部１０８は、１つの補間用ベクトルＣＶ３により、重複領域１３０を算出し、重複領域１３０および非重複領域１３５に対して、あらかじめ決めた順序によりアドレスの指定を行ってもよい。
【００７８】
〈２〉
図４および図５では、１つの補間用ベクトルＣＶ３がｘ−ｙ平面の第２象限に位置するベクトルであるとして、アドレスの指定について説明した。ここで、１つの補間用ベクトルＣＶ３が他の象限に位置する場合のアドレスの指定について説明する。
【００７９】
図６は、１つの補間用ベクトルＣＶ３がｘ−ｙ平面の第４象限に位置するベクトルである場合を示している。１つの補間用ベクトルＣＶ３は、（ｘ，ｙ）＝（３，−２）の成分を有しているとする。ここで、補間フレームＣＦ３と画像フレームＰ３’とは、重複領域１３８において重複している。
【００８０】
作成処理部１０８は、補間フレームＣＦ３を作成する際に、例えば、ラスタ走査の要領で、画像フレームＰ３を記憶する画像フレーム用メモリ１０７のアドレスを指定する。
【００８１】
１つの補間用ベクトルＣＶ３のｙ方向成分が負の値を有する場合、作成処理部１０８は、画像フレームＰ３’の第１ライン１４０を記憶するアドレスを、必要回数繰り返し指定する。ここで、繰り返し回数は、１つの補間用ベクトルＣＶ３のｙ方向成分から導出可能である。すなわち、画像フレームＰ３’と補間フレームＣＦ３とのｙ方向のずれの量を示す、１つの補間用ベクトルＣＶ３のｙ方向成分の大きさだけ第１ライン１４０を記憶するアドレスの指定を繰り返す。図６では、第１ライン１４０と同じアドレスを２回繰り返して指定している。
【００８２】
重複領域１３８を含むラインにおける非重複領域１３９は、重複領域１３８の画素であって、重複領域１３８と非重複領域１３９との境界に位置する画素を記憶するアドレスを必要回数繰り返し指定して補完する。ここで、繰り返し回数は、１つの補間用ベクトルＣＶ３のｘ方向成分から導出可能である。すなわち、画像フレームＰ３’と補間フレームＣＦ３とのｘ方向のずれの量を示す、１つの補間用ベクトルＣＶ３のｘ方向成分の大きさだけ重複領域１３８の端のアドレスを繰り返す。図６では、画素群１４１に対して、３回繰り返してアドレス［ｂ１１］を指定している。
【００８３】
重複領域１３８では、画像フレームＰ３における重複領域１３８に対応する領域のアドレスが指定される。
【００８４】
〈３〉
アドレスの指定は、以下の様にまとめられる。
【００８５】
作成処理部１０８は、補間フレーム（例えば、補間フレームＣＦ３など）を作成するために補間フレームを作成する基準となる基準フレーム（例えば、画像フレームＰ３など）を記憶する画像フレーム用メモリ１０７のアドレスを指定する。指定は、以下の様に行われる。なお、補間フレームの右方向をｘ方向、上方向をｙ方向と定義する。
【００８６】
▲１▼補間フレーム上における、補間フレームと１つの補間用ベクトルにより仮想的に変位された基準フレームとの重複領域（以下、単に重複領域という）に対しては、重複領域に対応する基準フレーム上の領域を記憶するアドレスが指定される。
【００８７】
▲２▼１つの補間用ベクトルのｙ方向成分が負の値を有する場合、重複領域を含まないラインに対しては、基準フレームの第１ライン（最も上に位置するライン）を記憶するアドレスが必要回数繰り返して指定される。ここで、必要回数は、１つの補間用ベクトルのｙ方向成分の大きさとして求められる。
【００８８】
▲３▼１つの補間用ベクトルのｙ方向成分が正の値を有する場合、重複領域を含まないラインに対しては、重複領域を含む最終ライン（最も下に位置するライン）で指定したアドレスが必要回数繰り返して指定される。ここで、必要回数は、１つの補間用ベクトルのｙ方向成分の大きさとして求められる。
【００８９】
▲４▼重複領域および非重複領域を含むラインにおける非重複領域に対しては、重複領域の画素であって、重複領域と非重複領域の境界に位置する画素を記憶するアドレスが必要回数繰り返して指定される。ここで、必要回数は、１つの補間用ベクトルのｘ方向成分の大きさとして求められる。
【００９０】
（２）補間フレーム作成方法
図７に、画像復号化装置１０１における補間フレーム作成方法を説明するフローチャートを示す。それぞれのステップの詳細な内容は、上記（１）で説明したのと同様であるので、詳しい説明は省略する。
【００９１】
作成処理部１０８は、取得した動き補償ベクトルＭＣＶに基づいて、補間フレームを作成する基準となる基準フレームと補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルを導出する（ステップＳ１５０）。
【００９２】
作成処理部１０８は、１つの補間用ベクトルに基づいて、基準フレームを記憶する第１メモリ１２０あるいは第２メモリ１２１のアドレスの指定を行い、補間フレームの読み出しを行わせる。（ステップＳ１５１）。
【００９３】
（３）第１実施形態の効果
（３−１）アドレスの指定による補間フレーム作成の効果
画像復号化装置１０１では、基準フレームと補間フレームとの画素単位のずれを示すベクトルである１つの補間用ベクトルに基づいて、基準フレームを記憶する画像フレーム用メモリ１０７のアドレスの指定を行い、補間フレームを出力する。ここで、１つの補間用ベクトルが整数成分を持つベクトルであるため、読み出しアドレスの変更による補間フレームの導出が可能となる。
【００９４】
このため、補間フレームを記憶しておく補間フレーム用メモリを備える必要がなく、画像復号化装置１０１のコストを削減することが可能となる。
【００９５】
また、１つの補間用ベクトルは、基準フレームについての動き補償ベクトルＭＣＶから導出されるため、基準フレームの代表的な動きを表している。このため、１つの補間用ベクトルにより補間される画像フレームの視覚的印象を向上することが可能となる。特に、画像フレームにより表示される物体の動きを滑らかにすることが可能となる。
【００９６】
また、画像復号化装置１０１は、作成処理部１０８を除いて、通常の画像復号化装置の構成を変更するものではない。このため、画像復号化装置１０１の大半は汎用部品で作成することが可能であり、コストを削減することが可能である。
【００９７】
（３−２）読み出し対象となる画像フレームを限定することの効果
第１実施形態では、補間フレームＣＦ３に対して、表示順が時間的に後方の画像フレームＰ３を基準フレームとして補間フレームＣＦ３の作成を行うと説明した。ここで、補間フレームＣＦ３に対して、表示順が時間的に前方の画像フレームＰ２を基準フレームとして補間フレームＣＦ３の作成を行うことも可能である。しかし、画像フレームＰ３を基準フレームとして補間フレームＣＦ３の作成を行うとしたことにより、画像復号化装置１０１では、画像フレーム用メモリ１０７を削減する効果が得られている。
【００９８】
図８を用いて、読み出し対象となる画像フレームを補間フレームに対して表示順が時間的に後方の画像フレームに限定することの効果について説明する。
【００９９】
図８（ａ）は、そのような限定を行わない場合の画像フレーム用メモリの占有状況を示している。図８（ｂ）は、限定を行う場合の画像フレーム用メモリの占有状況を示している。図８（ｂ）は、図８（ａ）に比して、必要なメモリを１枚分削減できることを示している。以下この理由について説明する。
【０１００】
図８（ａ）では、画像復号化装置は、画像フレームＩ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，・・・を順次復号化する（図２（ａ）参照）。復号化された画像フレームは、復号化されるともに、第１〜第３メモリに記憶される。第１〜第３メモリに書き込まれた画像フレームは、表示順が時間的に後方の画像フレームを復号化する際に利用されるため、少なくとも１枚後ろの画像フレームの復号化が終わるまで記憶されている必要がある。さらに、第１〜第３メモリに書き込まれた画像フレームは、補間フレームの作成に利用される可能性がある間は、記憶されている必要がある。図８（ａ）では、補間フレームＣＦ１，ＣＦ２，ＣＦ３は、それぞれ画像フレームＩ０，Ｐ２，Ｐ３を利用して作成されている。
【０１０１】
画像フレームＩ０は、時刻［ｔ０］に復号化が開始され、第１メモリに記憶される。画像フレームＩ０は、画像フレームＰ１の復号化に利用される。このため、少なくとも画像フレームＰ１の復号化が終わる時刻まで第１メモリに記憶されている必要がある。なお、復号化された画像フレームＰ１は、第２メモリに記憶される。
【０１０２】
画像フレームＩ０は、画像フレームＰ１の表示が開始されるまでは補間フレームＣＦ１の作成に利用される可能性がある。これは、補間フレームＣＦ１が画像フレームＩ０のアドレスを変更して読み出すことにより表示されているためである。このため、画像フレームＩ０は、時刻［ｔ５］までは第１メモリに記憶されている必要がある。
【０１０３】
一方、時刻［ｔ４］において、画像フレームＰ２の復号化が開始される。これは、少なくとも画像フレームのフレームレート以上のタイミングで復号化する必要があるからである。時刻［ｔ４］において、第１メモリ、第２メモリには、画像フレームＩ０，Ｐ１が記憶されている。このため、時刻［ｔ４］に復号化が開始された画像フレームＰ２は、第３メモリに記憶する必要がある。
【０１０４】
時刻［ｔ５］において、第１メモリは解放される。これにより、時刻［ｔ６］に復号化が開始される画像フレームＰ３は、第１メモリに記憶可能である。
【０１０５】
以上のように、補間フレームの作成において、読み出し対象となる画像フレームを補間フレームに対して表示順が時間的に後方の画像フレームに限定しない場合、画像フレーム用メモリは、少なくとも３つのメモリを備える必要がある。
【０１０６】
一方、図８（ｂ）は、そのような限定を行った場合の画像フレーム用メモリ１０７の占有状況を示している。
【０１０７】
図８（ｂ）では、画像復号化装置１０１は、画像フレームＩ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，・・・を順次復号化する。復号化された画像フレームは、復号化されるともに、第１メモリ１２０または第２メモリ１２１（図１参照）に記憶される。第１メモリ１２０または第２メモリ１２１に書き込まれた画像フレームは、表示順が時間的に後方の画像フレームを復号化する際に利用される。このため、少なくとも１枚後ろの画像フレームの復号化が終わるまで記憶されている必要がある。さらに、第１メモリ１２０または第２メモリ１２１に書き込まれた画像フレームは、補間フレームの作成に利用される可能性がある間は、記憶されている必要がある。図８（ｂ）では、補間フレームＣＦ１，ＣＦ２，ＣＦ３は、それぞれ画像フレームＰ１，Ｐ２，Ｐ３を利用して作成されている。
【０１０８】
画像フレームＩ０は、時刻［ｔ０］に復号化が開始され、第１メモリ１２０に記憶される。画像フレームＩ０は、画像フレームＰ１の復号化に利用される。このためため、少なくとも画像フレームＰ１の復号化が終わる時刻まで第１メモリ１２０に記憶されている必要がある。なお、復号化された画像フレームＰ１は、第２メモリ１２１に記憶される。
【０１０９】
画像フレームＩ０の表示終了時刻である時刻［ｔ４］において、第１メモリ１２０は解放される。画像フレームＩ０より表示順が時間的に後方の補間フレームＣＦ１の作成には、画像フレームＰ１のみが利用され、画像フレームＩ０は、利用されないからである。このため、第１メモリ１２０は、時刻［ｔ４］において復号化が開始された画像フレームＰ２を記憶することができる。
【０１１０】
以上のように、補間フレームの作成において、読み出し対象となる画像フレームを補間フレームに対して表示順が時間的に後方の画像フレームに限定する場合、画像フレーム用メモリ１０７は、２つのメモリを備えれば十分となる。このため、画像フレーム用メモリ１０７の削減が可能となる。さらには、画像復号化装置１０１のコストを削減することが可能となる。
【０１１１】
（４）第１実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
【０１１２】
（４−１）１つの補間用ベクトルの導出の変形例
〈１〉
図２（ｄ）の説明において、補間フレームの作成は、１つの代表ベクトルＶ３を内分するベクトルであって、整数成分を有する１つの補間用ベクトルＣＶ３と、１つの代表ベクトルＶ３との比によって定まるタイミングで行われると説明した。
【０１１３】
ここで、補間フレームは、あらかじめ設定されたタイミングで作成されるものであってもよい。
【０１１４】
これについて、図９を用いて説明する。
例えば、補間フレームを画像フレームのフレーム周波数を２倍にするように作成する場合、作成処理部１０８は、１つの代表ベクトルＶに対して、方向を変えずに大きさを２分の１とする内分ベクトルＤＶを導出する。導出された内分ベクトルＤＶが整数成分を持つ場合、内分ベクトルＤＶを１つの補間用ベクトルＣＶとする（図９（ａ）参照）。一方、導出された内分ベクトルＤＶが整数成分を持たない場合、整数成分を持つベクトルであって、内分ベクトルＤＶとの距離が最も近いベクトルを１つの補間用ベクトルＣＶとする（図９（ｂ）参照）。
【０１１５】
これにより、あらかじめ設定されたタイミングで画像フレーム用メモリ１０７が記憶する基準フレームのアドレスを指定して補間フレームを作成することが可能となる。
【０１１６】
また、あらかじめ設定されたタイミングは、動き補償ベクトルＭＣＶの大きさまたは１つの代表ベクトルＶの大きさによって変更されるものであっても良い。
【０１１７】
例えば、画像フレームのフレーム周波数、出力画像信号１１６を表示する表示装置の最大表示レートまたは画像復号化装置１０１の補間フレーム作成能力により、作成可能な補間フレームの最大枚数を決定する。動き補償ベクトルＭＣＶの大きさ、または１つの代表ベクトルＶの大きさがある一定値以上の場合に、その最大枚数分の補間フレームを作成する。
【０１１８】
これにより、動き補償ベクトルＭＣＶの大きさまたは１つの代表ベクトルＶの大きさが大きい場合、補間フレームを作成するタイミングを変更し、補間枚数を増やすことができる。このため、画像フレームをより滑らかに補間することが可能となる。
【０１１９】
〈２〉
図２（ｄ）において、１つの代表ベクトルＶ３を内分し、かつ整数成分を有するベクトルという条件を満たすベクトルが複数求められる場合には、それぞれのタイミングで複数枚の補間フレームを作成しても良い。
【０１２０】
これについて、図１０を用いて説明する。
例えば、１つの代表ベクトルＶ３を内分するベクトルであって、整数成分を有する複数の１つの補間用ベクトルＣＶ１１，ＣＶ１２が求められるとする（図１０（ａ）参照）。この場合、それぞれの１つの補間用ベクトルＣＶ１１，ＣＶ１２が、１つの代表ベクトルＶを内分するタイミングで、補間フレームＣＦ１１，ＣＦ１２の作成が行われる。例えば、１つの代表ベクトルＶ３と１つの補間用ベクトルＣＶ１１，ＣＶ１２との大きさの比を［ｌ：ｍ：ｎ］とすると、画像フレームＰ２と画像フレームＰ３との時間的距離を［ｌ−ｍ：ｍ］に内分するタイミングで、補間フレームＣＦ１１が出力され、［ｌ−ｎ：ｎ］に内分するタイミングで補間フレームＣＦ１２が出力される。すなわち、補間フレームＣＦ１１，ＣＦ１２が出力されるタイミングは、求められた複数の１つの補間用ベクトルＣＶ１１，ＣＶ１２の大きさによって変化することとなる。
【０１２１】
なお、それぞれの１つの補間用ベクトルＣＶ１１，ＣＶ１２は、１つの代表ベクトルＶ３を近似的に内分するものであってもよい。これについては、上記「（１−２−１）１つの補間用ベクトルの導出」において、説明したのと同様であるので説明は省略する。
【０１２２】
これにより、複数の補間フレームを作成できる。このため、より滑らかな出力画像信号１１６を得ることが可能となり、出力画像信号１１６の視覚的印象が向上する。
【０１２３】
〈３〉
図２（ｄ）において、１つの代表ベクトルＶ３を内分し、かつ整数成分を有するベクトルという条件を満たすベクトルが求められない場合、１つの補間用ベクトルを近似的に求めても良い。
【０１２４】
図１１を用いて、具体的に説明する。例えば、１つの代表ベクトルＶ３の始点（矢印の根）を始点とし、１つの代表ベクトルＶ３の始点と終点（矢印の先）とを結ぶ線分との距離が最も近い整数点１５３を終点とするベクトルを１つの補間用ベクトルＣＶ１３として求めても良い。
【０１２５】
（４−２）アドレスの指定の変形例
図５を用いて説明した非重複領域１３５の補完は、他の方法により行われても良い。
【０１２６】
具体的には、▲１▼画像フレームＰ３の同じ位置の画素を貼り付ける、▲２▼重複領域１３０の外周縁の画素領域を用いて滑らかに補完するなどの方法により補完がおこなわれる。
【０１２７】
図１２および図１３を用いて、それぞれについて説明する。
図１２（ａ）は、１つの補間用ベクトルＣＶ３により仮想的に変位された画像フレームＰ３’と補間フレームＣＦ３との位置関係を示している。画像フレームＰ３’と補間フレームＣＦ３とは、重複領域１３０において重複している。画像フレームＰ３（画像フレームＰ３’）には、格子の画像が表示されているとする。
【０１２８】
図１２（ｂ）に、上記▲１▼の補完方法により作成された補間フレームＣＦ３の画像を示す。補間フレームＣＦ３において、重複領域１３０は、画像フレームＰ３において対応する領域１３１（図３参照）を記憶するアドレスの読み出しにより作成される。非重複領域１３５は、画像フレームＰ３における同じ位置を記憶するアドレスの読み出しにより作成される。
【０１２９】
図１２（ｃ）に、上記▲１▼の補完方法において指定される、画像フレームＰ３を記憶するアドレスを示す。非重複領域１３５において、画像フレームＰ３の同じ位置のアドレスが指定されている。なお、図１２（ｃ）は、図４と同様の標記方法により示されている。
【０１３０】
図１３（ａ）は、図１２（ａ）と同様、１つの補間用ベクトルＣＶ３により仮想的に変位された画像フレームＰ３’と補間フレームＣＦ３との位置関係を示している。画像フレームＰ３’と補間フレームＣＦ３とは、重複領域１３０において重複している。画像フレームＰ３（画像フレームＰ３’）には、格子の画像が表示されているとする。
【０１３１】
図１３（ｂ）に、上記▲２▼の補完方法により作成された補間フレームＣＦ３の画像を示す。補間フレームＣＦ３において、重複領域１３０のうちの一部である領域１５５は、画像フレームＰ３’において対応する領域を記憶するアドレスの読み出しにより作成される。重複領域１３０のうちの他の一部である領域１５６および非重複領域１３５は、画像フレームＰ３’において領域１５６に対応する領域を記憶するアドレスの読み出し回数を変更して補完される。すなわち、領域１５６に対応する画像フレームＰ３’の画素を領域１５６および非重複領域１３５に引き延ばすように補完が行われる。
【０１３２】
図１３（ｃ）に、上記▲２▼の補完方法において指定される、画像フレームＰ３を記憶する画像フレーム用メモリ１０７のアドレスを示す。重複領域１３０のうち、の一部の領域１５５においては、画像フレームＰ３’において対応する領域を記憶するアドレスがそのまま指定される。領域１５６および非重複領域１３５は、画像フレームＰ３’において領域１５６に対応する領域を記憶するアドレスの読み出し回数を変更して補完される。例えば、ライン１５８において、画像フレームＰ３’において領域１５６に対応する領域を記憶するアドレスは、アドレス［ｂ３７］および［ｂ３８］であるが、この２つのアドレスを繰り返して指定することにより、領域１５６および非重複領域１３５を補完している。図１３（ｃ）ライン１５８では、アドレス［ｂ３７］が２回、アドレス［ｂ３８］が３回指定されている。
【０１３３】
ここで、非重複領域１３５の補完に用いられる重複領域１３０のうちの一部の領域１５６の大きさは自由に設定可能である。この領域１５６が大きいほど（領域１５５が小さいほど）領域１５６および非重複領域１３５を滑らかに補完することが可能であるが、画像全体の歪みは大きくなる。
【０１３４】
（４−３）補間フレーム作成部１１１の変形例
補間フレーム作成部１１１は、画像復号化装置１０１に内蔵されず、独立して動作するものであってもよい。
【０１３５】
図１４に、補間フレーム作成装置１６１を示す。補間フレーム作成装置１６１は、画像フレーム用メモリ１６２と、動きベクトル検出部１６３と、作成処理部１６４とを備えている。
【０１３６】
画像フレーム用メモリ１６２は、入力画像信号１７０を画像フレーム毎に記憶する。動きベクトル検出部１６３は、記憶された画像フレームを構成する画像ブロックの動きベクトルを検出する。作成処理部１６４は、画像ブロック毎に求められた動きベクトルから、１つの補間用ベクトルを導出する。１つの補間用ベクトルは、上記（１−２−１）で述べた手順を画像ブロック毎に得られた動きベクトルに適用して行われる。さらに、作成処理部１６４は、導出した１つの補間用ベクトルに基づいて、画像フレーム用メモリ１６２の記憶する画像フレームを、読み出しアドレスを指定して読み出す。アドレスの指定については、上記（１−２−２）あるいは上記（４−１）で述べたのと同様の手順で行われる。
【０１３７】
（４−４）画像フレーム用メモリ１０７の変形例
画像フレーム用メモリ１０７は、第１メモリ１２０および第２メモリ１２１を備えていると説明した。ここで、変形例としての画像フレーム用メモリ１０７は、さらに第３メモリおよび第４メモリを備えており、同時に４枚の画像フレームを記憶できるものであっても良い。
【０１３８】
この場合、符号化画像信号１１５は、Ｉピクチャ、ＰピクチャおよびＢピクチャとで符号化された画像信号であっても良い。
【０１３９】
図１５（ａ）に、復号化画像信号１１７を構成する画像フレームを示す。図１５の左方から右方に向かって、時間経過を示している。すなわち、画像フレームＩ０から画像フレームＰ６に向かう方向が時間的に後方に表示される順番となる。以降、特に断らない場合は、表示順であるものとする。図１５（ａ）の各画像フレームの符号のアルファベット部（Ｉ０，Ｂ１，Ｂ２，Ｐ３，・・・のＩ，Ｂ，Ｂ，Ｐ，・・・）は、それぞれの画像フレームの符号化の際のピクチャタイプを示している。また、符号化の際に動き補償を行った画像フレーム同士を矢印で関係づけて表している。すなわち、矢印の根に位置する画像フレームの符号化に際して、矢印の先に位置する画像フレーム（以下、符号化参照フレームという）を参照して、動き補償符号化したことを表している。
【０１４０】
ここで、上記「（１−２）補間フレーム作成部１１１の動作」で述べたのと同様に、補間フレームに対して、表示順が時間的に後方の画像フレームを基準フレームとして補間フレームの作成を行う。
【０１４１】
〈１〉１つの補間用ベクトルの導出
Ｐピクチャからの１つの補間用ベクトルの導出は、上記「（１−２）補間フレーム作成部１１１の動作」で述べたのと同様の手順により行われる。例えば、画像フレームＰ３と補間フレームＣＦ３との相対的な動きを示す１つの補間用ベクトルが導出される。
【０１４２】
Ｂピクチャからの１つの補間用ベクトルの導出は、次のように行われる。例えば、画像フレームＢ１は、画像フレームＩ０および画像フレームＰ３を符号化参照フレームとして符号化されている。そこで、画像フレームＢ１を構成する画像ブロック毎に取得される動き補償ベクトルのうち、時間的に前方の画像フレームＩ０に対して得られる動き補償ベクトルＭＣＶ１から上記「（１−２）補間フレーム作成部１１１の動作」で述べた手順により補間フレームＣＦ１に対する１つの補間用ベクトルを導出する。なお、時間的に後方の画像フレームＰ３に対して得られる動き補償ベクトルＭＣＶ２から上記「（１−２）補間フレーム作成部１１１の動作」で述べた手順により補間フレームＣＦ１に対する１つの補間用ベクトルを導出してもよい。この場合、動き補償ベクトルＭＣＶ２から導出される１の代表ベクトルを外分して１つの補間用ベクトルを導出することとなる。
【０１４３】
〈２〉変形例としての画像フレーム用メモリ１０７の占有状況
図１６に、変形例としての画像フレーム用メモリ１０７の占有状況を示す。図１５（ｂ）の順序で表示される出力画像信号１１６に対して、復号化は、画像フレームＩ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，・・・の順序で行われる。復号化された画像フレームは、変形例としての画像フレーム用メモリ１０７に記憶される。
【０１４４】
例えば、画像フレームＩ０は、時刻［ｔ０］に復号化が開始され、第１メモリに記憶される。画像フレームＩ０は、画像フレームＰ３，Ｂ１，Ｂ２の復号化に利用される。このため、少なくとも画像フレームＢ２の復号化が終わる時刻まで第１メモリに記憶されている必要がある。順次復号化される画像フレームＰ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，・・・は、解放されている第１〜第４メモリに記憶される。
【０１４５】
作成処理部１０８は、補間フレームＣＦ１，ＣＦ２，ＣＦ３，・・・を作成する際に、表示順が時間的に後方の画像フレームを基準フレームとして補間フレームの作成を行う。例えば、補間フレームＣＦ１，ＣＦ２，ＣＦ３，・・・の作成には、それぞれ画像フレームＢ１，Ｂ２，Ｐ３，・・・が利用される。作成処理部１０８は、変形例としての画像フレーム用メモリ１０７に対して、〈１〉で述べた１つの補間用ベクトルに基づいて、基準フレームの読み出しアドレスを指定する。これにより、補間フレームＣＦ１，ＣＦ２，ＣＦ３，・・・が読み出される。詳しい動作は、上記「（１−２）補間フレーム作成部１１１の動作」で述べたのと同様であるので省略する。
【０１４６】
〈３〉読み出し対象となる画像フレームを限定することの効果
補間フレームＣＦ１，ＣＦ２，ＣＦ３，・・・に対して、表示順が時間的に前方あるいは後方のどちらの画像フレームも読み出し対象とすると、読み出し先の画像フレーム用メモリを特定してから１つの補間用ベクトルを導出するなど、処理が煩雑となる。例えば、図１６において、時刻［ｔ６］に補間フレームＣＦ１を作成する際に、第１メモリに記憶される画像フレームＩ０を対象としてアドレスを指定するのか（時刻［ｔ６］点線矢印参照）、あるいは第３メモリに記憶される画像フレームＢ１を対象としてアドレスを指定するのか（時刻［ｔ６］実線矢印参照）決定する必要がある。
【０１４７】
一方、読み出し対象となる画像フレームを限定することにより、実線の矢印で示したメモリへのアクセスを行えば良く、メモリアクセスの制御が容易になる。
【０１４８】
（４−５）その他
上記実施形態において、フレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってよい。
【０１４９】
上記実施形態において、符号化画像信号１１５は、例えば、Ｈ．２６１符号化、ＭＰＥＧ−１符号化、ＭＰＥＧ−２符号化あるいはＭＰＥＧ−４符号化などにより動き補償符号化された画像信号であってよい。
【０１５０】
［第２実施形態］
本発明の第２実施形態について、図１７〜図１９を用いて説明する。
【０１５１】
（１）画像復号化装置２０１
図１７に、本発明の第２実施形態としての画像復号化装置２０１を示す。画像復号化装置２０１の構成は、図１の画像復号化装置１０１とほぼ同様の構成であるため、同様の部分には同じ符号を付し、説明を省略する。以下、相違点である、画像フレーム用メモリ２０７と、作成処理部２０８と、表示用メモリ２０９とについて説明を加える。
【０１５２】
また、［第１実施形態］と同様に、符号化画像信号１１５は、ＩピクチャとＰピクチャとで符号化された画像信号であるとして以下説明を行う。
【０１５３】
画像フレーム用メモリ２０７は、図１の画像フレーム用メモリ１０７と同様に、２つのフレームメモリである第１メモリ２２０および第２メモリ２２１を有している。第１メモリ２２０および第２メモリ２２１は、復号化画像信号１１７を画像フレーム毎に交互に記憶する。ここで、第１メモリ２２０および第２メモリ２２１は、例えば、画像フレームを少なくとも１枚以上記憶できるフレームメモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどで構成される。
【０１５４】
画像フレーム用メモリ２０７は、復号化された画像フレームを表示用メモリ２０９に転送して記憶させる。
【０１５５】
作成処理部２０８は、図１の作成処理部１０８と同様に、補間フレームを作成する基準となる基準フレームの動き補償ベクトルＭＣＶを取得し、１つの補間用ベクトルを導出する。１つの補間用ベクトルの導出については、［第１実施形態］で説明したのと同様であるので説明は省略する。また、１つの補間用ベクトルに基づいて、表示用メモリ２０９が記憶する基準フレームのアドレスを指定して読み出し、補間フレームとして出力させる。
【０１５６】
表示用メモリ２０９は、画像フレームを少なくとも１枚以上記憶できるフレームメモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどで構成される。また、所定のタイミングで、記憶する画像フレームの読み出しを行い、図示しないＲＡＭＤＡＣ（ＲＡＭ Ｄｉｇｉｔａｌ−ｔｏ−Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）などにより処理を行った後、ディスプレイなどの表示装置（図示せず）に表示を行う。さらに、表示用メモリ２０９は、作成処理部２０８から基準フレームを記憶するアドレスの指定を受け、補間フレームの読み出しを行う。
【０１５７】
（２）第２実施形態の効果
画像復号化装置２０１では、補間フレームを作成して記憶しておく必要がないなど、［第１実施形態］（３−１）で記載したのと同様の効果を得ることが可能となる。
【０１５８】
さらに、補間フレームを作成するための基準フレームを補間フレームに対して時間的に後方に位置する画像フレームと限定することにより、画像フレーム用メモリ２０７から表示用メモリ２０９への画像フレームの転送タイミングを一定にすることができる。
【０１５９】
図１８を用いて、この効果について説明を行う。
図１８（ａ）は、補間フレームを作成するための基準フレームを補間フレームに対して時間的に後方に位置する画像フレームと限定しない場合の画像フレームの転送タイミングを説明する説明図である。図１８（ｂ）は、この限定を行った場合の効果を説明する説明図である。
【０１６０】
図１８（ａ）では、画像復号化装置は、画像フレームＩ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，・・・を順次復号化する。復号化された画像フレームは、復号化されるともに、第１メモリあるいは第２メモリに記憶される。第１メモリあるいは第２メモリに記憶された画像フレームは、時間的に後方に位置する画像フレームを復号化する際に利用されるため、少なくとも１枚後ろの画像フレームの復号化が終わるまで記憶されている必要がある。
【０１６１】
また、第１メモリあるいは第２メモリに記憶された画像フレームは、表示されるタイミングあるいは補間フレームとして読み出されるために必要とされるタイミングで表示用メモリに転送される。
【０１６２】
例えば、図１８（ａ）では、補間フレームＣＦ１，ＣＦ２，ＣＦ３を作成するために、それぞれ画像フレームＩ０，Ｐ２，Ｐ３が利用されるとする。すなわち、補間フレームを作成するための基準フレームは、補間フレームに対して時間的に後方に位置する画像フレームに限定されていない。
【０１６３】
この場合、第１メモリあるいは第２メモリから表示用メモリに画像フレームを転送するタイミングは、それぞれ、時刻［ｔ３］，［ｔ５］，［ｔ６］，［ｔ８］である必要があるが、そのタイミングは一定していない。
【０１６４】
このため、転送のタイミングを制御することが煩雑であり、転送ミスを引き起こすおそれもある。
【０１６５】
一方、図１８（ｂ）では、補間フレームＣＦ１，ＣＦ２，ＣＦ３を作成するために、それぞれ画像フレームＰ１，Ｐ２，Ｐ３が利用されている。すなわち、補間フレームを作成するための基準フレームは、補間フレームに対して時間的に後方に位置する画像フレームに限定されている。
【０１６６】
この場合、第１メモリあるいは第２メモリから表示用メモリに画像フレームを転送するタイミングは、それぞれ、時刻［ｔ２］，［ｔ４］，［ｔ６］，［ｔ８］、となり、転送のタイミングが一定する。すなわち、画像フレームが補間フレームを作成するのに必要とされるタイミングとは無関係に表示用メモリ２０９への画像フレームの転送を行えばよい。このため転送のタイミングの制御が容易となり、例えば、画像フレーム用メモリ２０７から表示用メモリ２０９への画像フレームの転送を制御する制御部（図示せず）などを単純な回路構成で実現することが可能となる。
【０１６７】
（３）第２実施形態の変形例
（３−１）画像フレーム用メモリ２０７の変形例
画像フレーム用メモリ２０７は、第１メモリ１２０および第２メモリ１２１を備えていると説明した。ここで、変形例としての画像フレーム用メモリ２０７は、さらに第３メモリを備えており、同時に３枚の画像フレームを記憶できるものであっても良い。
【０１６８】
この場合、符号化画像信号１１５は、Ｉピクチャ、ＰピクチャおよびＢピクチャとで符号化された画像信号であっても良い。
【０１６９】
ここで、補間フレームを作成するための基準フレームを補間フレームに対して時間的に後方に位置する画像フレームと限定することにより、変形例としての画像フレーム用メモリ２０７を削減するという効果が得られている。
【０１７０】
図１９を用いて、この効果について説明する。
図１９に、変形例としての画像フレーム用メモリ２０７の占有状況を示す。図１５（ｂ）の順序で表示される出力画像信号１１６に対して、復号化は、画像フレームＩ０，Ｐ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，・・・の順序で行われる。復号化された画像フレームは、変形例としての画像フレーム用メモリ２０７に記憶される。
【０１７１】
図１９（ａ）は、補間フレームを作成するための基準フレームを補間フレームに対して時間的に後方に位置する画像フレームと限定しない場合の画像フレーム用メモリの占有状況である。図１９（ｂ）は、この限定を行った場合の変形例としての画像フレーム用メモリ２０７の占有状況である。
【０１７２】
図１９（ａ）では、補間フレームＣＦ１，ＣＦ２，ＣＦ３，・・・の作成には、それぞれ画像フレームＩ０，Ｂ１，Ｂ２，Ｐ３，・・・が利用される。すなわち、補間フレームを作成するための基準フレームを補間フレームに対して時間的に前方に位置する画像フレームとしている。
【０１７３】
画像フレームＩ０は、時刻［ｔ０］に復号化が開始され、第１メモリに記憶される。画像フレームＩ０は、画像フレームＰ３，Ｂ１，Ｂ２の復号化に利用される。このため、少なくとも画像フレームＢ２の復号化が終わる時刻まで第１メモリに記憶されている必要がある。
【０１７４】
画像フレームＰ３は、時刻［ｔ２］に復号化が開始され、第２メモリに記憶される。画像フレームＰ３は、画像フレームＢ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５の復号化に利用される。このため、少なくとも画像フレームＢ５の復号化が終わる時刻まで第２メモリに記憶されている必要がある。
【０１７５】
画像フレームＢ１は、時刻［ｔ４］に復号化が開始され、第３メモリに記憶される。ここで、表示用メモリ２０９は、画像フレームＩ０の表示開始時刻［ｔ５］から、補間フレームＣＦ１の表示終了時刻［ｔ７］までは、画像フレームＩ０を記憶している必要がある。画像フレームＩ０は、補間フレームＣＦ１の作成に利用されるからである。このため、第３メモリは、表示用メモリ２０９が解放される時刻［ｔ７］まで、記憶する画像フレームＢ１を転送することができない。
【０１７６】
画像フレームＢ２は、時刻［ｔ６］に復号化が開始される。ここで、時刻［ｔ６］においては、第１〜第３メモリは解放されていない。このため、画像フレームＢ２は、第４メモリに記憶される。
【０１７７】
この後復号化される画像フレームは、順次解放された第１〜第４メモリに記憶される。
【０１７８】
以上のように、補間フレームを作成するための基準フレームを補間フレームに対して表示順が時間的に後方の画像フレームに限定しない場合、画像フレーム用メモリは、少なくとも４つのメモリを備える必要がある。
【０１７９】
図１９（ｂ）は、そのような限定を行った場合の変形例としての画像フレーム用メモリ２０７の占有状況を示している。すなわち、補間フレームＣＦ１，ＣＦ２，ＣＦ３，・・・の作成には、それぞれ画像フレームＢ１，Ｂ２，Ｐ３，・・・を利用し、補間フレームを作成するための基準フレームを補間フレームに対して表示順が時間的に後方の画像フレームとしている。
【０１８０】
画像フレームＩ０およびＰ３により、第１メモリおよび第２メモリは、図１９（ａ）について説明したのと同様に占有される。
【０１８１】
画像フレームＢ１は、時刻［ｔ４］に復号化が開始され、第３メモリに記憶される。ここで、表示用メモリ２０９は、画像フレームＩ０の表示開始時刻［ｔ５］から、画像フレームＩ０の表示終了時刻［ｔ６］まで画像フレームＩ０を記憶していればよい。画像フレームＩ０は、補間フレームＣＦ１の作成に利用されないからである。このため、第３メモリは、表示用メモリ２０９が解放される時刻［ｔ６］において、記憶する画像フレームＢ１を転送する。表示用メモリ２０９に転送された画像フレームＢ１は、時刻［ｔ６］〜時刻［ｔ７］において、作成処理部２０８の制御により、アドレスを指定され、補間フレームＣＦ１として読み出される。
【０１８２】
画像フレームＢ２は、時刻［ｔ６］に復号化が開始される。ここで、時刻［ｔ６］においては、第３メモリが解放されている。このため、画像フレームＢ２は、第３メモリに記憶される。
【０１８３】
この後復号化される画像フレームは、順次解放された第１〜第３メモリに記憶される。
【０１８４】
以上のように、補間フレームを作成するための基準フレームを補間フレームに対して表示順が時間的に後方の画像フレームに限定する場合、画像フレーム用メモリは、３つのメモリを備えれば十分となる。このため、画像フレーム用メモリの削減が可能となる。さらには、画像復号化装置２０１のコストを削減することが可能となる。
【０１８５】
また、図１９（ａ）では、補間フレームを作成するための基準フレームを補間フレームに対して表示順が時間的に前方の画像フレームとしたが、時間的に前方あるいは後方のどちらの画像フレームを基準フレームとしてもよい場合には、画像フレーム用メモリから表示用メモリ２０９への画像フレームの転送タイミングの制御が煩雑となり、転送ミスを引き起こすおそれもある。一方、補間フレームを作成するための基準フレームを補間フレームに対して表示順が時間的に後方の画像フレームに限定する場合には、変形例としての画像フレーム用メモリ２０７から表示用メモリ２０９に画像フレームを転送するタイミングは、それぞれ、時刻［ｔ４］，［ｔ６］，［ｔ８］、・・・となり、転送のタイミングが一定する。このため、転送のタイミングの制御が容易となり、例えば、変形例としての画像フレーム用メモリ２０７から表示用メモリ２０９への画像フレームの転送を制御する制御部（図示せず）などを単純な回路構成で実現することが可能となる。
【０１８６】
（３−２）その他
図１７に示す画像復号化装置２０１において、作成処理部２０８および表示用メモリ２０９は、必ずしも画像復号化装置２０１に内蔵されていなくても良い。例えば、出力画像信号１１６を表示する表示装置（図示せず）において備えられ、画像復号化装置２０１と別体として動作するものであってもよい。
【０１８７】
［第３実施形態］
本発明の第３実施形態として、補間フレーム作成方法、補間フレーム作成プログラム、補間フレーム作成装置および画像復号化装置の応用例と、それを用いたシステムとを図２０〜図２３を用いて説明する。
【０１８８】
図２０は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１８９】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１９０】
しかし、コンテンツ供給システムｅｘ１００は図２０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１９１】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１９２】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってモードちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１９３】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。また、コンテンツの再生に際しては、上記実施形態の画像復号化装置、補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示した補間フレーム作成方法を実現する補間フレーム作成プログラムを備えていてもよい。
【０１９４】
一例として携帯電話について説明する。
図２１は、上記実施形態の補間フレーム作成装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１９５】
さらに、携帯電話ｅｘ１１５について図２２を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、補間フレーム作成部ｅｘ３１４、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１９６】
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１９７】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１９８】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１９９】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０２００】
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０２０１】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０２０２】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０２０３】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０２０４】
次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。さらに、補間フレーム作成部ｅｘ３１４は、上記実施形態の補間フレーム作成方法にて再生動画像データを補間するデータを作成し、再生動画像データを再生する。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０２０５】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２３に示すようにディジタル放送用システムにも上記実施形態の画像復号化装置、補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記実施形態の画像復号化装置、補間フレーム作成装置を備えていてもよい。また、上記実施形態の補間フレーム作成方法を用いるものであってもよい。さらに、上記実施形態の補間フレーム作成方法を実現する補間フレーム作成プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態の画像復号化装置、補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記実施形態の画像復号化装置、補間フレーム作成装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に補間フレーム作成装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で放送衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０２０６】
更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施形態の画像復号化装置、補間フレーム作成装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。
【０２０７】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２２に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０２０８】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０２０９】
このように、上記実施形態の画像復号化装置、補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
【０２１０】
【発明の効果】
請求項１に記載の補間フレーム作成装置では、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【０２１１】
請求項２に記載の補間フレーム作成装置では、制御手段は、基準フレームの動き関連情報から導出された１つの補間用ベクトルに基づいて、基準フレームの読み出しを制御し、補間フレームを出力させる。このため、画像フレームを滑らかに補間する補間フレームを作成することが可能となる。
【０２１２】
請求項３に記載の補間フレーム作成装置では、画像フレームをより滑らかに補間する補間フレームを作成することが可能となる。
【０２１３】
請求項４に記載の補間フレーム作成装置では、補間フレームを出力するためには、記憶手段には、基準フレームのみが記憶されていればよい。このため、記憶手段の備えるメモリ領域を有効に利用すること、あるいは記憶手段のメモリ領域を削減することが可能となる。
【０２１４】
請求項５に記載の画像復号化装置では、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【０２１５】
請求項６に記載の画像復号化装置では、補間フレームを出力するためには、記憶手段には、基準フレームのみが記憶されていればよい。このため、記憶手段の備えるメモリ領域を有効に利用すること、あるいは記憶手段のメモリ領域を削減することが可能となる。
【０２１６】
請求項７に記載の画像復号化装置では、基準フレームに対して時間的に前方の画像フレームを記憶していた記憶手段のメモリ領域は、補間フレームの出力前に解放される。このため、基準フレームに対して時間的に後方の画像フレームを基準フレームを利用して復号化しつつ、基準フレームに対して時間的に前方の画像フレームを記憶していた記憶手段のメモリ領域に記憶することが可能となる。これにより、記憶手段の備えるメモリ領域を有効に利用すること、あるいは記憶手段のメモリ領域を削減することが可能となる。
【０２１７】
請求項８に記載の補間フレーム作成方法では、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【０２１８】
請求項９に記載の補間フレーム作成プログラムでは、記憶手段に対する基準フレームの読み出しの制御に基づいて補間フレームが出力される。このため、作成された補間フレームを記憶する補間フレーム用の記憶手段を設ける必要がなくなる。
【図面の簡単な説明】
【図１】本発明の第１実施形態としての画像復号化装置１０１の構成を示すブロック図。
【図２】１つの補間用ベクトルの導出について説明する説明図。
【図３】作成処理部１０８による、画像フレームＰ３を記憶するアドレスの指定について説明する説明図。
【図４】重複領域１３０に対するアドレスの指定について説明する説明図。
【図５】非重複領域１３５に対するアドレスの指定について説明する説明図。
【図６】他の１つの補間用ベクトルＣＶ３によるアドレスの指定について説明する説明図。
【図７】本発明の第１実施形態としての補間フレーム作成方法を示すフローチャート。
【図８】第１実施形態の効果について説明する説明図。
【図９】１つの補間用ベクトルの導出の変形例について説明する説明図。
【図１０】１つの補間用ベクトルの導出の変形例について説明する説明図。
【図１１】１つの補間用ベクトルの導出の変形例について説明する説明図。
【図１２】アドレスの指定の変形例について説明する説明図。
【図１３】アドレスの指定の変形例について説明する説明図。
【図１４】補間フレーム作成部１１１の変形例としての補間フレーム作成装置１６１の構成を示すブロック図。
【図１５】復号化画像信号１１７を構成する画像フレームを説明する説明図。
【図１６】変形例としての画像フレーム用メモリ１０７の占有状況を説明する説明図。
【図１７】本発明の第２実施形態としての画像復号化装置２０１の構成を示すブロック図。
【図１８】第２実施形態の効果について説明する説明図。
【図１９】第２実施形態の変形例の効果について説明する説明図。
【図２０】コンテンツ供給システムの全体構成を示すブロック図。
【図２１】本発明の補間フレーム作成装置を搭載する携帯電話の例。
【図２２】携帯電話のブロック図。
【図２３】ディジタル放送用システムの例。
【図２４】従来技術としての補間フレーム作成装置４０１の構成を示すブロック図。
【符号の説明】
１０１ 画像復号化装置
１０２ 可変長復号化部
１０３ 逆量子化部
１０４ 逆直交変換部
１０５ 動き補償部
１０７ 画像フレーム用メモリ
１０８ 作成処理部
１１０ 復号化部
１１１ 補間フレーム作成部
１１５ 符号化画像信号
１１６ 出力画像信号
１１７ 復号化画像信号
１２０ 第１メモリ
１２１ 第２メモリ
ＣＦ 補間フレーム
Ｖ １つの代表ベクトル
ＣＶ １つの補間用ベクトル
ＤＶ 内分ベクトル
ＭＣＶ 動き補償ベクトル

Claims (9)

1. 画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
   前記補間フレームを作成する基準となる基準フレームを記憶する記憶手段と、
   前記基準フレームと前記補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルに基づいて、前記記憶手段に記憶された前記基準フレームの読み出しを制御し、前記補間フレームとして出力させる制御手段と、
   を備える補間フレーム作成装置。
2. 前記制御手段は、前記基準フレームの動きに関する動き関連情報に基づいて、前記１つの補間用ベクトルを導出する、
   請求項１に記載の補間フレーム作成装置。
3. 前記制御手段は、前記動き関連情報の大きさに基づいて、前記補間フレームの作成枚数を変化させる、
   請求項２に記載の補間フレーム作成装置。
4. 前記基準フレームは、前記補間フレームに対して、表示順が時間的に後方の画像フレームである、
   請求項１〜３のいずれかに記載の補間フレーム作成装置。
5. 動き補償符号化された符号化画像信号を復号化する復号化手段と、
   復号化された画像フレームを記憶する記憶手段と、
   前記記憶手段により、前記画像フレームを補間するための補間フレームを出力させる手段であって、前記補間フレームを作成する基準となる基準フレームと前記補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルに基づいて、前記記憶手段に記憶された前記基準フレームの読み出しを制御し、前記補間フレームとして出力させる制御手段と、
   を備える画像復号化装置。
6. 前記基準フレームは、前記補間フレームに対して、表示順が時間的に後方の画像フレームである、
   請求項５に記載の画像復号化装置。
7. 前記記憶手段は、前記画像フレームを１枚ずつ交互に記憶する２つのメモリ領域を有している、
   請求項６に記載の画像復号化装置。
8. 画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
   前記補間フレームを作成する基準となる基準フレームと前記補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルを導出するベクトル導出ステップと、
   導出された前記１つの補間用ベクトルに基づいて、記憶された前記基準フレームの読み出しを制御し、前記補間フレームを作成する補間フレーム作成ステップと、
   を備える補間フレーム作成方法。
9. コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
   前記補間フレーム作成プログラムは、コンピュータに
   前記補間フレームを作成する基準となる基準フレームと前記補間フレームとの相対的な動きを画素を単位として示す１つの補間用ベクトルを導出するベクトル導出ステップと、
   導出された前記１つの補間用ベクトルに基づいて、記憶された前記基準フレームの読み出しを制御し、前記補間フレームを作成する補間フレーム作成ステップと、
   を備える補間フレーム作成方法
   を、行わせるものである補間フレーム作成プログラム。

Images