JP2005006275A - 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム - Google Patents

Abstract

【課題】 補間フレーム作成の精度をさらに向上させる成装置と方法および補間フレーム作成プログラムを提供し、装置への実装に適した方法およびプログラムを提供する。さらに本技術を実装した補間フレーム作成装置を提供する。
【解決手段】 補間フレーム作成装置２０１は、動き補償符号化された符号化画像信号２１０を復号化して得られた画像フレームを補間するための補間フレームを作成する装置であって、動きベクトル導出部２０３と、補間フレーム作成部２０４とを備えている。動きベクトル導出部２０３は、符号化画像信号２１０を構成する符号化ブロックの動き補償ベクトルを取得する。補間フレーム作成部２０４は、画像フレームを構成する画像ブロックの動きベクトルに基づいて、補間フレームを作成する手段であって、画像ブロックの動きベクトルとして、符号化ブロックの動き補償ベクトルを用いる。
【選択図】 図１５

Description

補間フレーム作成装置、特に、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置に関する。本発明は、さらに、補間フレーム作成方法、および補間フレーム作成プログラムに関する。

テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示する装置において、画像信号を構成する画像フレームから、画像フレームを補間する補間フレームを作成し、作成された補間フレームを画像フレームに内挿して表示させる技術が知られている。この技術は、例えば、情報量を削減するため低フレームレートで伝送された画像信号を滑らかに表示することを目的として利用されている。

図５２に、上記従来技術を実現するための補間フレーム作成装置４０１を示す。補間フレーム作成装置４０１は、フレームメモリ４０２と、動きベクトル検出部４０３と、補間フレーム作成部４０４と、信号切換部４０５と、制御部４０６とから構成される。フレームメモリ４０２は、入力画像信号４１０を画像フレーム毎に記憶する。動きベクトル検出部４０３は、フレームメモリ４０２に記憶された２枚の画像フレームである基準フレームと参照フレームとに基づいて動きベクトルを検出する。具体的には、基準フレームを構成する画像ブロックの動きベクトルは、基準フレームの画像ブロックと参照フレームの画素領域とをマッチングして検出される。補間フレーム作成部４０４は、基準フレームと検出された基準フレームの画像ブロックの動きベクトルとから、補間フレームを作成する。信号切換部４０５は、フレームメモリ４０２の記憶する画像フレームと補間フレーム作成部４０４が作成する補間フレームとを切り換えて、出力画像信号４１１とする。制御部４０６は、動きベクトル検出部４０３と補間フレーム作成部４０４と信号切換部４０５との動作に必要な制御信号を与える。

ここで、図５３を用いて、動きベクトル検出部４０３および補間フレーム作成部４０４の動作をさらに詳しく説明する。図５３（ａ）は、フレームメモリ４０２に記憶された基準フレームＢＦ４１５と参照フレームＲＦ４１６とを示している。ここでは、基準フレームＢＦ４１５と参照フレームＲＦ４１６との間に１枚の補間フレームＣＦ４１７を補間する場合について説明する（図５３（ｂ）参照）。動きベクトル検出部４０３は、基準フレームＢＦ４１５を所定の画素数で構成される画像ブロックに分割する。さらに、分割されたそれぞれの画像ブロックについて、参照フレームＲＦ４１６を形成する画素領域とマッチングを行い動きベクトルＭＶ４２０を検出する。補間フレーム作成部４０４は、検出された動きベクトルＭＶ４２０を補間フレームの補間枚数に応じて内分する。ここでは、基準フレームＢＦ４１５と参照フレームＲＦ４１６との間に１枚の補間フレームＣＦ４１７を補間するため、動きベクトルＭＶ４２０の方向を変えずに大きさを２分の１にして補間用動きベクトルＣＭＶ４２１を導出する。導出された補間用動きベクトルＣＭＶ４２１と基準フレームＢＦ４１５の画像ブロックとから補間フレームＣＦ４１７が作成される。

また、基準フレームＢＦ４１５の画像ブロックの参照フレームＲＦ４１６に対する動きベクトルだけでなく、参照フレームＲＦ４１６を構成する画像ブロックの基準フレームＢＦ４１５に対する動きベクトルも検出し、補間フレームＣＦ４１７を作成する技術（特許文献１参照）、動きベクトルの検出の精度を向上させるための技術（特許文献２参照）についても知られている。
特開平６−１７８２７０号公報 特開２０００−１３４５８５号公報

一方、情報量を削減するため低フレームレートで伝送された画像信号を滑らかに表示するために、補間フレームの作成の精度をさらに向上させることが求められている。また、補間フレームを作成する技術を装置に実装する際には、処理量を低減する、あるいは回路規模を削減することなどが求められている。

そこで、本発明の課題は、補間フレームの作成の精度をさらに向上させる補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムを提供することにある。

本発明の他の課題は、装置への実装に適した補間フレーム作成方法および補間フレーム作成プログラムを提供することにある。

本発明のさらに他の課題は、本発明の補間フレームを作成する技術を実装した補間フレーム作成装置を提供することにある。

請求項１に記載の補間フレーム作成装置は、動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、動き補償ベクトル取得手段と、補間フレーム作成手段とを備えている。動き補償ベクトル取得手段は、符号化画像信号を構成する符号化ブロックの動き補償ベクトルを取得する。補間フレーム作成手段は、画像フレームを構成する画像ブロックの動きベクトルに基づいて、補間フレームを作成する手段であって、画像ブロックの動きベクトルとして、符号化ブロックの動き補償ベクトルを用いる。

ここでフレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってもよい（以下、この欄において同じ）。

この補間フレーム作成装置では、動き補償符号化された符号化画像信号中の動き補償ベクトルを利用する。このため、復号化された画像フレームから動きベクトルを検出することなく補間フレームを作成することができ、補間フレームの作成のための処理量が削減される。

請求項２に記載の補間フレーム作成装置は、動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、動き補償ベクトル取得手段と、動きベクトル検出手段と、補間フレーム作成手段とを備えている。動き補償ベクトル取得手段は、符号化画像信号を構成する符号化ブロックの動き補償ベクトルを取得する。動きベクトル検出手段は、基準フレームを構成する画像ブロックの動きベクトルを参照フレームを参照して検出する手段であって、動き補償ベクトルに基づいて定められる参照フレームの所定領域において動きベクトルを検出する。補間フレーム作成手段は、検出された動きベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成装置では、動き補償符号化された画像信号中の動き補償ベクトルを利用する。動きベクトル検出手段は、動きベクトルを検出する際に、取得された動き補償ベクトルに基づいて定められる参照フレームの所定領域において探索を行う。このため、動きベクトルの検出に要する処理量が削減される。

請求項３に記載の補間フレーム作成装置は、動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、画像信号情報取得手段と、動きベクトル検出手段と、補間フレーム作成手段とを備えている。画像信号情報取得手段は、符号化画像信号の画像信号情報を取得する。動きベクトル検出手段は、基準フレームを構成する画像ブロック全体の中から部分的に画像ブロックを選択し、部分的に選択した画像ブロックの動きベクトルを参照フレームを参照して検出する。補間フレーム作成手段は、画像信号情報と動きベクトルとに基づいて、補間フレームを作成する。

ここで、画像信号情報とは、動き補償符号化された符号化画像信号についての情報であり、例えば、符号化ブロックの動き補償ベクトル、符号化モード、あるいは符号化画像信号の符号化方法などである。

この補間フレーム作成装置では、画像信号情報を利用する。動きベクトル検出手段は、動きベクトルを検出する際に、画像フレームを構成する画像ブロック全体のうち、部分的に選択した画像ブロックについて動きベクトルを検出する。この結果、すべての画像ブロックについて動きベクトルを検出する場合に比して、動きベクトルの検出に要する処理量が削減される。

請求項４に記載の補間フレーム作成装置は、請求項３に記載の補間フレーム作成装置であって、画像信号情報は、符号化画像信号を構成する符号化ブロックの動き補償ベクトルまたは符号化モードを含んでおり、部分的に選択した画像ブロックは、画像信号情報により、静止していると判断される画像ブロック、あるいは隣接する画像ブロックと相関の低い動きをしていると判断される画像ブロックを含んでいる。

この補間フレーム作成装置では、取得された動き補償ベクトルまたは符号化モードにより、静止していると判断される画像ブロックについて動きベクトルを検出する。あるいはこの補間フレーム作成装置では、取得された動き補償ベクトルまたは符号化モードにより、隣接する画像ブロックと相関の低い動きをしていると判断される画像ブロックについて動きベクトルを検出する。また、動きベクトルの検出に際しては、動き補償符号化の際に参照したのとは異なる画像フレームを参照することが可能である。

請求項５に記載の補間フレーム作成装置は、請求項３または４に記載の補間フレーム作成装置であって、画像信号情報は、符号化画像信号を構成する符号化ブロックの符号化モードを含んでおり、部分的に選択した画像ブロックは、画像信号情報により、画面内符号化されていると判断される画像ブロックを含んでいる。

この補間フレーム作成装置では、画面内符号化された画像ブロックについて動きベクトルを検出する。また、動きベクトルの検出に際しては、動き補償符号化の際に参照したのとは異なる画像フレームを参照することが可能である。

請求項６に記載の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、動き関連情報取得手段と、補間用ベクトル導出手段と、補間フレーム作成手段とを備えている。動き関連情報取得手段は、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。補間用ベクトル導出手段は、動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する。補間フレーム作成手段は、１つの補間用ベクトルに基づいて、補間フレームを作成する。

ここで、動き関連情報とは、例えば、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトル、あるいは画像フレームを構成する画像ブロックについて検出された動きベクトルなどである（以下、この欄において同じ）。

この補間フレーム作成装置では、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項７に記載の補間フレーム作成装置は、請求項６に記載の補間フレーム作成装置であって、１つの補間用ベクトルは、画像ブロック全体の中から部分的に選択された画像ブロックの動き関連情報から導出される。

この補間フレーム作成装置では、１つの補間用ベクトルは、画像ブロック全体の中から部分的に選択された画像ブロックの動き関連情報から導出される。これにより、１つの補間用ベクトルの導出のための処理量を低減することが可能となる。

請求項８に記載の補間フレーム作成装置は、請求項６に記載の補間フレーム作成装置であって、動き関連情報は、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトルである。補間フレーム作成手段は、画面内符号化された画像フレームに対して時間的に前方または後方の画像フレームについて導出された１つの補間用ベクトルを利用して補間フレームを作成する。

この補間フレーム作成装置では、画面内符号化されており動き補償ベクトルを有しない画像フレームを用いて補間フレームを作成することが可能となる。

請求項９に記載の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、動き関連情報取得手段と、画像フレーム判定手段と、補間フレーム作成手段とを備えている。動き関連情報取得手段は、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。画像フレーム判定手段は、画像フレームが補間フレームの作成に適しているか否かの判定を行う。補間フレーム作成手段は、動き関連情報に基づいて、補間フレームを作成する手段であって、判定に基づいて、補間フレームを作成する方式を切り換える。

ここで、画像フレーム判定手段は、例えば、画像フレームの動き関連情報の分散が大きい場合、画像フレームを復号するための符号化画像信号を構成する符号化ブロックのＤＣＴ係数の和がある閾値より大きい画像ブロックが多い場合、画面内符号化された画像ブロックが多い場合、動きベクトルを検出する際に計算された画像ブロックの絶対差分和（ＳＡＤ）がある閾値より大きい画像ブロックが多い場合、ベクトルとして表される動き関連情報の方向が一定数以上変化する場合、などに画像フレームが補間フレームの作成に適していないと判定する。

この補間フレーム作成装置では、画像フレームが補間フレームの作成に適しているか否かの判定を行うため、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項１０に記載の補間フレーム作成装置は、請求項９に記載の補間フレーム作成装置であって、補間フレーム作成手段は、判定が否定的である場合に、補間フレームに対して時間的に前方または／および後方の画像フレームの少なくとも一部を補間フレームとして用いることができる。

この補間フレーム作成装置では、画像フレームが補間フレームの作成に適していない場合にも、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項１１に記載の補間フレーム作成装置は、請求項９に記載の補間フレーム作成装置であって、動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する補間用ベクトル導出手段をさらに備えている。補間フレーム作成手段は、判定が否定的である場合に、１つの補間用ベクトルに基づいて、補間フレームを作成することができる。

ここで、画像フレーム判定手段は、例えば、ベクトルとして表される動き関連情報と１つの補間用ベクトルとの距離がある閾値より大きい画像ブロックが多い場合、などに画像フレームが補間フレームの作成に適していないと判定することもできる。

この補間フレーム作成装置では、画像フレームが補間フレームの作成に適していない場合に、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項１２に記載の補間フレーム作成装置は、請求項９に記載の補間フレーム作成装置であって、補間フレーム作成手段は、判定が否定的である場合に、補間フレームを作成しない。

この補間フレーム作成装置では、画像フレームが補間フレームの作成に適していない場合には、補間フレームの作成を行わない。これにより、画像フレームの補間に適さない補間フレームの作成を防ぐことが可能になる。

請求項１３に記載の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、作成処理能力判断手段と、補間フレーム作成手段とを備えている。作成処理能力判断手段は、補間フレームを作成する作成処理能力を判断する。補間フレーム作成手段は、作成処理能力判断手段の判断に応じて、補間フレームを作成する。

この補間フレーム作成装置では、作成処理能力判断手段は、補間フレームを作成する作成処理能力を判断する。ここで、作成処理能力は、補間フレームを作成するために使用可能な処理能力であり、例えば、画像フレームの画像サイズ、画像フレームから構成される画像信号のフレーム周波数などといった画像信号の属性、あるいは補間フレームを作成する処理以外の処理に使用される処理能力などに応じて判断される。つまり、作成処理能力に応じて適切に補間フレームを作成することができる。

請求項１４に記載の補間フレーム作成装置は、請求項１３に記載の補間フレーム作成装置であって、補間フレーム作成手段は、作成処理能力判断手段の判断に応じて、補間フレームの補間枚数を変化させる。

この補間フレーム作成装置では、作成処理能力判断手段が判断した作成処理能力に適した枚数の補間フレームを作成する。例えば、作成処理能力に余裕があれば、補間フレームを作成する枚数を増加させる。

請求項１５に記載の補間フレーム作成装置は、請求項１３または１４に記載の補間フレーム作成装置であって、補間フレーム作成手段は、作成処理能力判断手段の判断に応じて、画像フレームを構成する画像ブロックのうち、動きベクトルを検出する画像ブロックの個数を変化させる。

この補間フレーム作成装置では、作成処理能力判断手段が判断した作成処理能力に適した個数の画像ブロックの動きベクトルを検出し補間フレームを作成する。例えば、作成処理能力に余裕があれば、動きベクトルを検出する画像ブロックの個数を増加させる。

請求項１６に記載の補間フレーム作成装置は、請求項１３〜１５のいずれかに記載の補間フレーム作成装置であって、補間フレーム作成手段は、作成処理能力判断手段の判断に応じて、画像フレームを構成する画像ブロックの動きベクトルを探索する探索領域を変化させる。

この補間フレーム作成装置では、作成処理能力判断手段が判断した作成処理能力に適した探索領域で画像ブロックの動きベクトルを検出し補間フレームを作成する。例えば、作成処理能力に余裕があれば、動きベクトルを検出する対象となる探索領域を拡大させる。

請求項１７に記載の補間フレーム作成装置は、請求項１３〜１６のいずれかに記載の補間フレーム作成装置であって、作成処理能力判断手段は、画像フレームから構成される画像信号の属性を判断する。

この補間フレーム作成装置では、作成処理能力判断ステップは、画像フレームの画像サイズ、画像フレームから構成される画像信号のフレーム周波数などといった画像信号の属性を判断し、判断に応じて補間フレームを作成する。例えば、画像フレームの画像サイズが小さければ、補間フレームを作成する枚数を増加させる。

請求項１８に記載の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、動きベクトル検出手段と、補間フレーム作成手段とを備えている。動きベクトル検出手段は、動き補償符号化を行う符号化装置の動き検出部を介して、画像フレームを構成する画像ブロックの動きベクトルを検出する。補間フレーム作成手段は、動きベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成装置では、動き補償符号化を行う符号化装置の動き検出部を利用する。このため、補間フレームの作成のための回路規模あるいはソフトウェアのコード規模を削減することが可能となる。

請求項１９に記載の補間フレーム作成装置は、請求項１８に記載の補間フレーム作成装置であって、動き検出部の動作状況を判断する動作状況判断手段をさらに備えている。また、補間フレーム作成手段では、判断された動作状況に応じて、補間フレームを作成する。

この補間フレーム作成装置では、動作状況判断手段は、例えば、動き検出部が動作しているか否か、あるいは動き検出部の情報処理量などといった動作状況を判断する。補間フレーム作成手段は、動き検出部の処理の余裕などに応じて、補間フレームを適切に作成できる。

請求項２０に記載の補間フレーム作成装置は、請求項１９に記載の補間フレーム作成装置であって、補間フレーム作成手段では、動作状況判断手段により、動き検出部が動作中であると判断された場合に、補間フレームの作成を行わない。

この補間フレーム作成装置では、例えば、動き検出部が符号化装置により使用されている場合には、補間フレームの作成を行わない。

請求項２１に記載の補間フレーム作成装置は、請求項１９または２０に記載の補間フレーム作成装置であって、補間フレーム作成手段では、動作状況判断手段により動き検出部が動作中であると判断された場合に、画像フレームの復号の際に得られる符号化ブロックの動き補償ベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成装置では、例えば、動き検出部が符号化装置により使用されている場合には、動き補償ベクトルに基づいて、補間フレームを作成する。

請求項２２に記載の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、動きベクトル検出手段と、補間フレーム作成手段とを備えている。動きベクトル検出手段は、補間フレームに対して時間的に前方または後方の一方にある複数の画像フレームを利用して動きベクトルを検出する。補間フレーム作成手段は、動きベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成装置では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれていない画像ブロックに対しても、さらに前方あるいは後方の画像フレームを利用して動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項２３に記載の補間フレーム作成装置は、請求項２２に記載の補間フレーム作成装置であって、複数の画像フレームは、動きベクトルの検出の基準となる基準フレームを複数含んでおり、補間フレームに対して時間的に前方または後方の他方にある画像フレームは、動きベクトルの検出の対象となる参照フレームを含んでいる。また、動きベクトル検出手段では、参照フレームを参照して基準フレームを構成する画像ブロックの動きベクトルを検出する。

この補間フレーム作成装置では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれていない画像ブロックに対しても、さらに前方あるいは後方の基準フレームから動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項２４に記載の補間フレーム作成装置は、請求項２２に記載の補間フレーム作成装置であって、複数の画像フレームは、動きベクトルの検出の対象となる参照フレームを複数含んでおり、補間フレームに対して時間的に前方または後方の他方にある画像フレームは、動きベクトルの検出の基準となる基準フレームを含んでいる。また、動きベクトル検出手段では、参照フレームを参照して基準フレームを構成する画像ブロックの動きベクトルを検出する。

この補間フレーム作成装置では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれていない画像ブロックに対しても、さらに前方あるいは後方の参照フレームを対象として動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項２５に記載の補間フレーム作成装置は、請求項２２に記載の補間フレーム作成装置であって、複数の画像フレームは、動きベクトルの検出の基準となる基準フレームと動きベクトルの検出の対象となる参照フレームとを含んでいる。また、動きベクトル検出手段では、参照フレームを参照して基準フレームを構成する画像ブロックの動きベクトルを検出する。

この補間フレーム作成装置では、例えば、画像フレームのシーンチェンジなど、補間フレームに対して時間的に前方および後方の画像フレームの相関が低い場合に、補間フレームに対して時間的に一方の基準フレームと参照フレームとから動きベクトルを検出することが可能となる。この結果、補間フレーム作成の精度が向上する。

請求項２６に記載の補間フレーム作成装置は、請求項２２に記載の補間フレーム作成装置であって、動きベクトル検出手段では、動きベクトルの検出の基準となる第１基準フレームに対して時間的に前方の第１参照フレームを参照して第１動きベクトルを検出し、動きベクトルの検出の基準となる第２基準フレームに対して時間的に後方の第２参照フレームを参照して第２動きベクトルを検出することができる。また、補間フレーム作成手段では、第１動きベクトルと第２動きベクトルとに基づいて、補間フレームを作成することができる。

この補間フレーム作成装置では、双方向の動きベクトルを検出して補間フレームの作成を行う事が可能となる。この結果、補間フレームの作成の精度がさらに向上する。

請求項２７に記載の補間フレーム作成装置は、請求項２２に記載の補間フレーム作成装置であって、動きベクトルは、補間フレームを構成する補間ブロックを作成するための動きベクトルであって、動きベクトルの検出の基準となる基準フレームを形成する基準画素領域と動きベクトルの検出の対象となる参照フレームを形成する参照画素領域とから検出される。また、参照フレームにおける参照画素領域の位置は、基準フレームにおける基準画素領域の位置と補間フレームにおける補間ブロックの位置とを結ぶベクトルを内分あるいは外分したベクトルの示す位置として定められる。

ここで、基準画素領域は、基準フレームを構成する画像ブロックであってもよい。
この補間フレーム作成装置では、検出された動きベクトルから補間フレームを構成する各補間ブロックが作成される。このため、補間フレームを埋め尽くすように補間ブロックを作成することが可能となる。

請求項２８の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、領域決定手段と、補間フレーム作成手段とを備えている。領域決定手段は、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域の決定を行う。補間フレーム作成手段は、画像フレームを構成する画像ブロックの動きに関する動き関連情報に基づいて補間フレームを作成する手段であって、決定された補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。

ここで、動き関連情報とは、例えば、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトル、あるいは画像フレームを構成する画像ブロックについて検出された動きベクトルなどである。

この補間フレーム作成装置では、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。このため、動き関連情報を用いた補間フレームの作成において、補間フレームの外枠領域に生じやすい画像の歪みを低減させることが可能となる。この結果、補間フレームの画質が向上する。

請求項２９に記載の補間フレーム作成装置は、請求項２８に記載の補間フレーム作成装置であって、補間不適領域は、外枠領域のうち、画素値がほぼ一定の領域である。

画素値がほぼ一定の領域とは、例えば、画像フレームがレターボックスあるいはサイドパネルといった方式でアスペクト比を変換された画像である場合に、上下あるいは左右に表示される帯状領域などである。

この補間フレーム作成装置では、画像フレームの外枠領域のうち、画素値がほぼ一定の領域に対して特別の領域補償処理を行い補間フレームを作成する。この領域は、静止している領域であることが多く、特別の領域補償処理を行うことで、補間フレーム作成の処理量を低減させることが可能となる。

請求項３０に記載の補間フレーム作成装置は、請求項２８に記載の補間フレーム作成装置であって、補間不適領域は、画像フレームの画像サイズに対してあらかじめ定められた領域である。

この補間フレーム作成装置では、画像フレームの外枠領域のうち、あらかじめ定められた領域について特別の処理を行う。この領域は、例えば、オーバースキャン表示される表示装置などにおいて、表示画面に表れない領域などである。このため、その領域に対して特別な領域補償処理を行うことで、補間フレーム作成の処理量を低減させることが可能となる。

請求項３１に記載の補間フレーム作成装置は、請求項２８に記載の補間フレーム作成装置であって、領域決定手段は、取得された、補間不適領域を示す補間不適領域情報に基づいて、補間不適領域を決定する。

補間不適領域情報とは、例えば、補間不適領域の位置や大きさや範囲を示す情報あるいは補間不適領域を導出するための情報などである。

この補間フレーム作成装置では、補間不適領域情報に基づいて、補間不適領域を決定する。また、決定された補間不適領域に対して特別な領域補償処理を行い、補間フレームを作成することが可能となる。

請求項３２に記載の補間フレーム作成装置は、請求項３１に記載の補間フレーム作成装置であって、補間不適領域情報は、複数の画像フレームから構成される画像信号を表示する表示装置の表示サイズと表示装置の表示用メモリのメモリサイズとを含んでいる。

表示用メモリのメモリサイズは、表示装置に表示することのできる画像フレームの画像サイズに対応している。表示装置の表示サイズは、実際に表示している画像フレームの画像サイズに対応している。

この補間フレーム作成装置では、例えば、表示装置の表示サイズと表示量メモリのメモリサイズとの差から、補間不適領域を決定する。また、決定された補間不適領域に対して特別な領域補償処理を行い、補間フレームを作成することが可能となる。

請求項３３に記載の補間フレーム作成方法は、動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、画像信号情報取得ステップと、動きベクトル検出ステップと、補間フレーム作成ステップとを備えている。画像信号情報取得ステップは、符号化画像信号の画像信号情報を取得する。動きベクトル検出ステップは、基準フレームを構成する画像ブロック全体の中から部分的に画像ブロックを選択し、部分的に選択した画像ブロックの動きベクトルを参照フレームを参照して検出する。補間フレーム作成ステップは、画像信号情報と動きベクトルとに基づいて、補間フレームを作成する。

ここで、画像信号情報とは、動き補償符号化された符号化画像信号についての情報であり、例えば、符号化ブロックの動き補償ベクトル、符号化モード、あるいは符号化画像信号の符号化方法などである。

この補間フレーム作成方法では、画像信号情報を利用する。動きベクトル検出ステップは、動きベクトルを検出する際に、画像フレームを構成する画像ブロック全体のうち、部分的に選択した画像ブロックについて動きベクトルを検出する。この結果、すべての画像ブロックについて動きベクトルを検出する場合に比して、動きベクトルの検出に要する処理量が削減される。つまり、この補間フレーム作成方法は実装に適している。

請求項３４に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、動き関連情報取得ステップと、補間用ベクトル導出ステップと、補間フレーム作成ステップとを備えている。動き関連情報取得ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。補間用ベクトル導出ステップは、動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する。補間フレーム作成ステップは、１つの補間用ベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成方法では、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項３５に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、動き関連情報取得ステップと、画像フレーム判定ステップと、補間フレーム作成ステップとを備えている。動き関連情報取得ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。画像フレーム判定ステップは、画像フレームが補間フレームの作成に適しているか否かの判定を行う。補間フレーム作成ステップは、動き関連情報に基づいて、補間フレームを作成するステップであって、判定に基づいて、補間フレームを作成する方式を切り換える。

ここで、画像フレーム判定ステップは、例えば、画像フレームの動き関連情報の分散が大きい場合、画像フレームを復号するための符号化画像信号を構成する符号化ブロックのＤＣＴ係数の和がある閾値より大きい画像ブロックが多い場合、画面内符号化された画像ブロックが多い場合、動きベクトルを検出する際に計算された画像ブロックの絶対差分和（ＳＡＤ）がある閾値より大きい画像ブロックが多い場合、などに画像フレームが補間フレームの作成に適していないと判定する。

この補間フレーム作成方法では、画像フレームが補間フレームの作成に適しているか否かの判定を行うため、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項３６に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、作成処理能力判断ステップと、補間フレーム作成ステップとを備えている。作成処理能力判断ステップは、補間フレームを作成する作成処理能力を判断する。補間フレーム作成ステップは、作成処理能力判断ステップの判断に応じて、補間フレームを作成する。

この補間フレーム作成方法では、作成処理能力判断ステップは、補間フレームを作成する作成処理能力を判断する。ここで、作成処理能力は、補間フレームを作成するために使用可能な処理能力であり、例えば、画像フレームの画像サイズ、画像フレームから構成される画像信号のフレーム周波数などといった画像信号の属性、あるいは補間フレームを作成する処理以外の処理に使用される処理能力などに応じて判断される。つまり、作成処理能力に応じて適切に補間フレームを作成することができる。

請求項３７に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、動きベクトル検出ステップと、補間フレーム作成ステップとを備えている。動きベクトル検出ステップは、動き補償符号化を行う符号化装置の動き検出部を介して、画像フレームを構成する画像ブロックの動きベクトルを検出する。補間フレーム作成ステップは、動きベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成方法では、動き補償符号化を行う符号化装置の動き検出部を利用する。このため、補間フレームの作成のための回路規模を削減することが可能となる。つまり、この補間フレーム作成方法は実装に適している。

請求項３８に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、動きベクトル検出ステップと、補間フレーム作成ステップとを備えている。動きベクトル検出ステップは、補間フレームに対して時間的に前方または後方の一方にある複数の画像フレームを利用して動きベクトルを検出する。補間フレーム作成ステップは、動きベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成方法では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれていない画像ブロックに対しても、さらに前方あるいは後方の画像フレームを利用して動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項３９に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、領域決定ステップと、補間フレーム作成ステップとを備えている。領域決定ステップは、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域の決定を行う。補間フレーム作成ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報に基づいて補間フレームを作成するステップであって、決定された補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する
ここで、動き関連情報とは、例えば、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトル、あるいは画像フレームを構成する画像ブロックについて検出された動きベクトルなどである。

この補間フレーム作成方法では、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。このため、動き関連情報を用いた補間フレームの作成において、補間フレームの外枠領域に生じやすい画像の歪みを低減させることが可能となる。この結果、補間フレームの画質が向上する。

請求項４０に記載の補間フレーム作成プログラムは、コンピュータにより、動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、画像信号情報取得ステップと、動きベクトル検出ステップと、補間フレーム作成ステップとを備える補間フレーム作成方法を行わせるものである。画像信号情報取得ステップは、符号化画像信号の画像信号情報を取得する。動きベクトル検出ステップは、基準フレームを構成する画像ブロック全体の中から部分的に画像ブロックを選択し、部分的に選択した画像ブロックの動きベクトルを参照フレームを参照して検出する。補間フレーム作成ステップは、画像信号情報と動きベクトルとに基づいて、補間フレームを作成する。

ここで、画像信号情報とは、動き補償符号化された符号化画像信号についての情報であり、例えば、符号化ブロックの動き補償ベクトル、符号化モード、あるいは符号化画像信号の符号化方法などである。

この補間フレーム作成プログラムでは、画像信号情報を利用する。動きベクトル検出ステップは、動きベクトルを検出する際に、画像フレームを構成する画像ブロック全体のうち、部分的に選択した画像ブロックについて動きベクトルを検出する。この結果、すべての画像ブロックについて動きベクトルを検出する場合に比して、動きベクトルの検出に要する処理量が削減される。つまり、この補間フレーム作成プログラムは実装に適している。

請求項４１に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、動き関連情報取得ステップと、補間用ベクトル導出ステップと、補間フレーム作成ステップとを備える補間フレーム作成方法を行わせるものである。動き関連情報取得ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。補間用ベクトル導出ステップは、動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する。補間フレーム作成ステップは、１つの補間用ベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成プログラムでは、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項４２に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、動き関連情報取得ステップと、画像フレーム判定ステップと、補間フレーム作成ステップとを行わせるものである。動き関連情報取得ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。画像フレーム判定ステップは、画像フレームが補間フレームの作成に適しているか否かの判定を行う。補間フレーム作成ステップは、動き関連情報に基づいて、補間フレームを作成するステップであって、判定に基づいて、補間フレームを作成する方式を切り換える。

ここで、画像フレーム判定ステップは、例えば、画像フレームの動き関連情報の分散が大きい場合、画像フレームを復号するための符号化画像信号を構成する符号化ブロックのＤＣＴ係数の和がある閾値より大きい画像ブロックが多い場合、画面内符号化された画像ブロックが多い場合、動きベクトルを検出する際に計算された画像ブロックの絶対差分和（ＳＡＤ）がある閾値より大きい画像ブロックが多い場合、などに画像フレームが補間フレームの作成に適していないと判定する。

この補間フレーム作成プログラムでは、画像フレームが補間フレームの作成に適しているか否かの判定を行うため、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項４３に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、作成処理能力判断ステップと、補間フレーム作成ステップとを備える補間フレーム作成方法を行わせるものである。作成処理能力判断ステップは、補間フレームを作成する作成処理能力を判断する。補間フレーム作成ステップは、作成処理能力判断ステップの判断に応じて、補間フレームを作成する。

この補間フレーム作成プログラムでは、作成処理能力判断ステップは、補間フレームを作成する作成処理能力を判断する。ここで、作成処理能力は、補間フレームを作成するために使用可能な処理能力であり、例えば、画像フレームの画像サイズ、画像フレームから構成される画像信号のフレーム周波数などといった画像信号の属性、あるいは補間フレームを作成する処理以外の処理に使用される処理能力などに応じて判断される。つまり、作成処理能力に応じて適切に補間フレームを作成することができる。

請求項４４に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、動きベクトル検出ステップと、補間フレーム作成ステップとを備える補間フレーム作成方法を行わせるものである。動きベクトル検出ステップは、動き補償符号化を行う符号化装置の動き検出部を介して、画像フレームを構成する画像ブロックの動きベクトルを検出する。補間フレーム作成ステップは、動きベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成プログラムでは、動き補償符号化を行う符号化装置の動き検出部を利用する。このため、補間フレームの作成のためのプログラムコード規模を削減することが可能となる。つまり、この補間フレーム作成プログラムは実装に適している。

請求項４５に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、動きベクトル検出ステップと、補間フレーム作成ステップとを備える補間フレーム作成方法を行わせるものである。動きベクトル検出ステップは、補間フレームに対して時間的に前方または後方の一方にある複数の画像フレームを利用して動きベクトルを検出する。補間フレーム作成ステップは、動きベクトルに基づいて、補間フレームを作成する。

この補間フレーム作成プログラムでは、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれていない画像ブロックに対しても、さらに前方あるいは後方の画像フレームを利用して動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項４６に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、領域決定ステップと、補間フレーム作成ステップとを備える補間フレーム作成方法を行わせるものである。領域決定ステップは、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域の決定を行う。補間フレーム作成ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報に基づいて補間フレームを作成するステップであって、決定された補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。

ここで、動き関連情報とは、例えば、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトル、あるいは画像フレームを構成する画像ブロックについて検出された動きベクトルなどである。

この補間フレーム作成プログラムでは、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。このため、動き関連情報を用いた補間フレームの作成において、補間フレームの外枠領域に生じやすい画像の歪みを低減させることが可能となる。この結果、補間フレームの画質が向上する。

本発明により、補間フレームの作成の精度をさらに向上させる補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムを提供することが可能となる。

また、別の本発明により、装置への実装に適した補間フレーム作成方法および補間フレーム作成プログラムを提供することが可能となる。

さらに別の本発明により、本発明の補間フレームを作成する技術を実装した補間フレーム作成装置を提供することが可能となる。

請求項１に記載の補間フレーム作成装置では、動き補償符号化された符号化画像信号中の動き補償ベクトルを利用する。このため、復号化された画像フレームから動きベクトルを検出することなく補間フレームを作成することができ、補間フレームの作成のための処理量が削減される。

請求項２に記載の補間フレーム作成装置では、動き補償符号化された画像信号中の動き補償ベクトルを利用する。動きベクトル検出手段は、動きベクトルを検出する際に、取得された動き補償ベクトルに基づいて定められる参照フレームの所定領域において探索を行う。このため、動きベクトルの検出に要する処理量が削減される。

請求項３に記載の補間フレーム作成装置では、画像信号情報を利用する。動きベクトル検出手段は、動きベクトルを検出する際に、画像フレームを構成する画像ブロック全体のうち、部分的に選択した画像ブロックについて動きベクトルを検出する。この結果、すべての画像ブロックについて動きベクトルを検出する場合に比して、動きベクトルの検出に要する処理量が削減される。

請求項４に記載の補間フレーム作成装置では、取得された動き補償ベクトルまたは符号化モードにより、静止していると判断される画像ブロックについて動きベクトルを検出する。あるいはこの補間フレーム作成装置では、取得された動き補償ベクトルまたは符号化モードにより、隣接する画像ブロックと相関の低い動きをしていると判断される画像ブロックについて動きベクトルを検出する。また、動きベクトルの検出に際しては、動き補償符号化の際に参照したのとは異なる画像フレームを参照することが可能である。

請求項５に記載の補間フレーム作成装置では、画面内符号化された画像ブロックについて動きベクトルを検出する。また、動きベクトルの検出に際しては、動き補償符号化の際に参照したのとは異なる画像フレームを参照することが可能である。

請求項６に記載の補間フレーム作成装置では、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項７に記載の補間フレーム作成装置では、１つの補間用ベクトルは、画像ブロック全体の中から部分的に選択された画像ブロックの動き関連情報から導出される。これにより、動き関連情報の導出のための処理量を低減することが可能となる。

請求項８に記載の補間フレーム作成装置では、画面内符号化されており動き補償ベクトルを有しない画像フレームを用いて補間フレームを作成することが可能となる。

請求項９に記載の補間フレーム作成装置では、画像フレームが補間フレームの作成に適しているか否かの判定を行うため、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項１０に記載の補間フレーム作成装置では、画像フレームが補間フレームの作成に適していない場合にも、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項１１に記載の補間フレーム作成装置では、画像フレームが補間フレームの作成に適していない場合に、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項１２に記載の補間フレーム作成装置では、画像フレームが補間フレームの作成に適していない場合には、補間フレームの作成を行わない。これにより、画像フレームの補間に適さない補間フレームの作成を防ぐことが可能になる。

請求項１３に記載の補間フレーム作成装置では、作成処理能力に応じて適切に補間フレームを作成することができる。

請求項１４に記載の補間フレーム作成装置では、作成処理能力判断手段が判断した作成処理能力に適した枚数の補間フレームを作成する。例えば、作成処理能力に余裕があれば、補間フレームを作成する枚数を増加させる。

請求項１５に記載の補間フレーム作成装置では、作成処理能力判断手段が判断した作成処理能力に適した個数の画像ブロックの動きベクトルを検出し補間フレームを作成する。例えば、作成処理能力に余裕があれば、動きベクトルを検出する画像ブロックの個数を増加させる。

請求項１６に記載の補間フレーム作成装置では、作成処理能力判断手段が判断した作成処理能力に適した領域で画像ブロックの動きベクトルを検出し補間フレームを作成する。例えば、作成処理能力に余裕があれば、動きベクトルを検出する領域を拡大させる。

請求項１７に記載の補間フレーム作成装置では、作成処理能力判断ステップは、画像フレームの画像サイズ、画像フレームから構成される画像信号のフレーム周波数などといった画像信号の属性を判断し、判断に応じて補間フレームを作成する。例えば、画像フレームの画像サイズが小さければ、補間フレームを作成する枚数を増加させる。

請求項１８に記載の補間フレーム作成装置では、動き補償符号化を行う符号化装置の動き検出部を利用する。このため、補間フレームの作成のための回路規模あるいはソフトウェアのコード規模を削減することが可能となる。

請求項１９に記載の補間フレーム作成装置では、動作状況判断手段は、例えば、動き検出部が動作しているか否か、あるいは動き検出部の情報処理量などといった動作状況を判断する。補間フレーム作成手段は、動き検出部の処理の余裕などに応じて、補間フレームを適切に作成できる。

請求項２０に記載の補間フレーム作成装置では、例えば、動き検出部が符号化装置により使用されている場合には、補間フレームの作成を行わない。

請求項２１に記載の補間フレーム作成装置では、例えば、動き検出部が符号化装置により使用されている場合には、動き補償ベクトルに基づいて、補間フレームを作成する。

請求項２２に記載の補間フレーム作成装置では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれない画像ブロックに対しても、さらに前方あるいは後方の画像フレームを利用して動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項２３に記載の補間フレーム作成装置では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれない画像ブロックに対しても、さらに前方あるいは後方の基準フレームから動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項２４に記載の補間フレーム作成装置では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれない画像ブロックに対しても、さらに前方あるいは後方の参照フレームを対象として動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項２５に記載の補間フレーム作成装置では、例えば、画像フレームのシーンチェンジなど、補間フレームに対して時間的に前方および後方の画像フレームの相関が低い場合に、補間フレームに対して時間的に一方の基準フレームと参照フレームとから動きベクトルを検出することが可能となる。この結果、補間フレーム作成の精度が向上する。

請求項２６に記載の補間フレーム作成装置では、双方向の動きベクトルを検出して補間フレームの作成を行う事が可能となる。この結果、補間フレームの作成の精度がさらに向上する。

請求項２７に記載の補間フレーム作成装置では、検出された動きベクトルから補間フレームを構成する各補間ブロックが作成される。このため、補間フレームを埋め尽くすように補間ブロックを作成することが可能となる。

請求項２８の補間フレーム作成装置では、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。このため、動き関連情報を用いた補間フレームの作成において、補間フレームの外枠領域に生じやすい画像の歪みを低減させることが可能となる。この結果、補間フレームの画質が向上する。

請求項２９に記載の補間フレーム作成装置では、画像フレームの外枠領域のうち、画素値がほぼ一定の領域に対して特別の領域補償処理を行い補間フレームを作成する。この領域は、静止している領域であることが多く、特別の領域補償処理を行うことで、補間フレーム作成の処理量を低減させることが可能となる。

請求項３０に記載の補間フレーム作成装置では、画像フレームの外枠領域のうち、あらかじめ定められた領域について特別の処理を行う。この領域は、例えば、オーバースキャン表示される表示装置などにおいて、表示画面に表れない領域などである。このため、その領域に対して特別な領域補償処理を行うことで、補間フレーム作成の処理量を低減させることが可能となる。

請求項３１に記載の補間フレーム作成装置では、補間不適領域情報に基づいて、補間不適領域を決定する。また、決定された補間不適領域に対して特別な領域補償処理を行い、補間フレームを作成することが可能となる。

請求項３２に記載の補間フレーム作成装置では、例えば、表示装置の表示サイズと表示量メモリのメモリサイズとの差から、補間不適領域を決定する。また、決定された補間不適領域に対して特別な領域補償処理を行い、補間フレームを作成することが可能となる。

請求項３３に記載の補間フレーム作成方法では、画像信号情報を利用する。動きベクトル検出ステップは、動きベクトルを検出する際に、画像フレームを構成する画像ブロック全体のうち、部分的に選択した画像ブロックについて動きベクトルを検出する。この結果、すべての画像ブロックについて動きベクトルを検出する場合に比して、動きベクトルの検出に要する処理量が削減される。つまり、この補間フレーム作成方法は実装に適している。

請求項３４に記載の補間フレーム作成方法では、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項３５に記載の補間フレーム作成方法では、画像フレームが補間フレームの作成に適しているか否かの判定を行うため、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項３６に記載の補間フレーム作成方法では、作成処理能力に応じて適切に補間フレームを作成することができる。

請求項３７に記載の補間フレーム作成方法では、動き補償符号化を行う符号化装置の動き検出部を利用する。このため、補間フレームの作成のための回路規模を削減することが可能となる。つまり、この補間フレーム作成方法は実装に適している。

請求項３８に記載の補間フレーム作成方法では、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれない画像ブロックに対しても、さらに前方あるいは後方の画像フレームを利用して動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項３９に記載の補間フレーム作成方法では、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。このため、動き関連情報を用いた補間フレームの作成において、補間フレームの外枠領域に生じやすい画像の歪みを低減させることが可能となる。この結果、補間フレームの画質が向上する。

請求項４０に記載の補間フレーム作成プログラムでは、画像信号情報を利用する。動きベクトル検出ステップは、動きベクトルを検出する際に、画像フレームを構成する画像ブロック全体のうち、部分的に選択した画像ブロックについて動きベクトルを検出する。この結果、すべての画像ブロックについて動きベクトルを検出する場合に比して、動きベクトルの検出に要する処理量が削減される。つまり、この補間フレーム作成プログラムは実装に適している。

請求項４１に記載の補間フレーム作成プログラムでは、動き関連情報に基づいて導出された１つの補間用ベクトルに基づいて、補間フレームが作成される。１つの補間用ベクトルにより補間フレームが作成されるため、補間フレームの画像の歪みを軽減することが可能であり、補間フレームの画質の向上が図られる。

請求項４２に記載の補間フレーム作成プログラムでは、画像フレームが補間フレームの作成に適しているか否かの判定を行うため、適切な補間フレームの作成を行うことが可能となり、補間フレームの画質の向上が図られる。

請求項４３に記載の補間フレーム作成プログラムでは、作成処理能力に応じて適切に補間フレームを作成することができる。

請求項４４に記載の補間フレーム作成プログラムでは、動き補償符号化を行う符号化装置の動き検出部を利用する。このため、補間フレームの作成のためのプログラムコード規模を削減することが可能となる。つまり、この補間フレーム作成プログラムは実装に適している。

請求項４５に記載の補間フレーム作成プログラムでは、補間フレームに対して時間的に前方または後方の一方にある１枚の画像フレームには含まれない画像ブロックに対しても、さらに前方あるいは後方の画像フレームを利用して動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

請求項４６に記載の補間フレーム作成プログラムでは、画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域に対して特別の領域補償処理を行い補間フレームを作成する。このため、動き関連情報を用いた補間フレームの作成において、補間フレームの外枠領域に生じやすい画像の歪みを低減させることが可能となる。この結果、補間フレームの画質が向上する。

［第１実施形態］
本発明の第１実施形態について、図１〜図１４を用いて説明する。

（１）補間フレーム作成装置１０１
図１に、本発明の第１実施形態としての補間フレーム作成装置１０１を示す。
補間フレーム作成装置１０１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において、画像信号を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。

補間フレーム作成装置１０１は、フレームメモリ１０２と、動きベクトル検出部１０３と、補間フレーム作成部１０４と、信号切換部１０５と、制御部１０６とから構成される。フレームメモリ１０２は、入力画像信号１１０を画像フレーム毎に記憶する。動きベクトル検出部１０３は、フレームメモリ１０２に記憶された複数の画像フレームに基づいて、画像フレームを構成する画像ブロックの動きベクトルを検出する。動きベクトル検出部１０３の動作については、後ほど具体的に説明する。補間フレーム作成部１０４は、画像フレームと検出された動きベクトルとから、補間フレームを作成する。補間フレーム作成部１０４の動作については、後ほど具体的に説明する。信号切換部１０５は、フレームメモリ１０２の記憶する画像フレームと補間フレーム作成部１０４が作成する補間フレームとを切り換えて、出力画像信号１１１とする。制御部１０６は、動きベクトル検出部１０３と補間フレーム作成部１０４と信号切換部１０５との動作に必要な制御信号を与える。

ここで、図２を用いて、動きベクトル検出部１０３および補間フレーム作成部１０４の動作をさらに詳しく説明する。入力画像信号１１０（図１参照）のフレーム周波数を２倍にするように補間フレームを作成する場合について説明する。以下、説明の明確化のため、補間フレームの作成にかかる画像フレームを基準フレームおよび参照フレームと分けて記載する。基準フレームは、動きベクトルの検出の基準となる画像フレームであり、画像ブロックに分割され、画像ブロック毎の動きベクトルが検出される画像フレームである。参照フレームは、動きベクトルの検出の対象となる画像フレームであり、基準フレームを構成する画像ブロックとのマッチングが行われる画像フレームである。

動きベクトル検出部１０３は、従来技術のように補間フレームに対して時間的に前後両方１枚ずつの画像フレームを利用することができる。さらに、補間フレームに対して時間的に後方の複数の基準フレームを利用することができる。以下、動きベクトル検出部１０３の後者の機能について中心に説明する。

図２（ａ）は、フレームメモリ１０２に記憶された参照フレームＲＦ１１６、基準フレームＢＦ１１７、および基準フレームＢＦ１１８を示している。この３枚の画像フレームを用いて、参照フレームＲＦ１１６と基準フレームＢＦ１１７との間を補間する補間フレームＣＦ１２１（図２（ｂ）参照）を作成する場合について説明する。動きベクトル検出部１０３は、フレームメモリ１０２に記憶された基準フレームＢＦ１１７とＢＦ１１８とを所定のサイズの画像ブロックに分割し、それぞれの画像ブロックについて動きベクトルを検出する。具体的には、分割されたそれぞれの画像ブロックについて、参照フレームＲＦ１１６を形成する画素領域とマッチングを行い動きベクトルＭＶ１２５と動きベクトルＭＶ１２６とを検出する。ここで、所定のサイズの画像ブロックとは、例えば、８×８あるいは１６×１６の画素数から構成される画像ブロックが一般的であるが、本発明の効果は画像ブロックのサイズ、形状などに依存するものではない。

補間フレーム作成部１０４は、検出された動きベクトルＭＶ１２５と動きベクトルＭＶ１２６とに基づいて、補間フレームＣＦ１２１を作成する。具体的には、まず、基準フレームＢＦ１１８と参照フレームＲＦ１１６との時間的距離に対する基準フレームＢＦ１１８と補間フレームＣＦ１２１との時間的距離の割合で動きベクトルＭＶ１２５を内分して補間用動きベクトルＣＭＶ１２７を導出する。図２（ｂ）では、動きベクトルＭＶ１２５の方向を変えずに大きさを４分の３にし、補間用動きベクトルＣＭＶ１２７を導出している。次に、導出された補間用動きベクトルＣＭＶ１２７により基準フレームＢＦ１１８を構成する画像ブロックを変位させ、補間フレームＣＦ１２１を形成する補間画素領域を作成する。同様にして、動きベクトルＭＶ１２６から補間用動きベクトルＣＭＶ１２８を導出し、補間フレームＣＦ１２１を形成する補間画素領域を作成する。図２（ｂ）では、補間用動きベクトルＣＭＶ１２８は、動きベクトルＭＶ１２６の方向を変えずに大きさを２分の１にすることで導出している。以上のようにして導出された補間画素領域で埋め尽くされたフレームを補間フレームＣＦ１２１とする。

ここで、補間用動きベクトルＣＭＶ１２７に基づいて作成された補間画素領域と補間用動きベクトルＣＭＶ１２８に基づいて作成された補間画素領域とが補間フレームＣＦ１２１において重複する領域を形成する場合は、あらかじめ定めた手順で処理することになる。例えば、補間フレームＣＦ１２１との時間的距離の近い基準フレームに基づいて作成された補間画素領域を優先するなど、あらかじめ定めた画像フレームに基づいて作成された補間画素領域を優先する、あるいは重複部分の画素値を平均化するなどといった手順で処理することとなる。

さらに、補間用動きベクトルＣＭＶ１２７に基づいて作成された補間画素領域と補間用動きベクトルＣＭＶ１２８に基づいて作成された補間画素領域を用いても、補間フレームＣＦ１２１を埋め尽くすことができない場合は、あらかじめ定めた手順で処理することになる。例えば、参照フレームＲＦ１１６、基準フレームＢＦ１１７、基準フレームＢＦ１１８、あるいはその他の画像フレームの画素値により補間フレームＣＦ１２１の欠落した情報を補うなどの手順で処理することとなる。

なお、検出された動きベクトルＭＶ１２５あるいは１２６が補間フレームＣＦ１２１を作成するために適切でない場合は、基準フレームＢＦ１１７あるいは基準フレームＢＦ１１８は、結果的に補間フレームＣＦ１２１を作成するために用いられないこともある。

（２）補間フレーム作成方法
図３に、補間フレーム作成装置１０１における補間フレーム作成方法を説明するフローチャートを示す。それぞれのステップの詳細な内容は、上記（１）で説明したのと同様であるので、詳しい説明は省略する。

動きベクトル検出部１０３は、フレームメモリ１０２に記憶された複数の画像フレームに基づいて、基準フレームを構成する画像ブロックの動きベクトルを検出する（ステップＳ１０１）。補間フレーム作成部１０４は、フレームメモリ１０２に記憶された複数の画像フレームと検出された基準フレームの画像ブロックの動きベクトルとから、補間フレームを作成する（ステップＳ１０２）。

（３）第１実施形態の効果
本発明の補間フレーム作成装置および補間フレーム作成方法では、以下の効果が得られる。

（ｉ）補間フレームに対して時間的に後方の複数の基準フレームを基準として動きベクトルを検出できるため、補間フレームに対して時間的に後方の１枚の画像フレームには含まれていない画像ブロックに対しても、さらに後方の基準フレームを基準として動きベクトルを検出することが可能となる。この結果、補間フレームの作成の精度が向上する。

（ｉｉ）補間フレームの補間画素領域毎に基準とする基準フレームを適切に選択できるため、補間フレームの作成の精度が向上する。

図４を用いて、第１実施形態の効果について具体的に説明する。入力画像信号から画像フレーム１３６〜１３８が得られたとする。画像フレーム１３６〜１３８は、人物１４０の前を車１４１が横切る画像である。ここで、画像フレーム１３７においては、人物１４０は車１４１に隠れている。従来の補間フレーム作成に係る技術（補間フレームの時間的に前後両方向の１枚ずつの画像フレームを基準として動きベクトルを検出する技術）では、例えば、画像フレーム１３６と画像フレーム１３７との間に補間フレームを作成する際に、画像フレーム１３７が人物１４０の情報を有さないため、人物１４０を含む画像ブロック１４２については適切な動きベクトルを検出することができない。一方、本発明の補間フレーム作成に係る技術では、例えば、画像フレーム１３６と画像フレーム１３７との間に補間フレームを作成する際に、画像フレーム１３７と画像フレーム１３８を基準フレームとして動きベクトルを検出することができる。この結果、画像フレーム１３８を基準フレームとし、画像フレーム１３６を参照フレームとすることにより、人物１４０を含む画像ブロック１４２の動きベクトルを検出することが可能となる。

（４）第１実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（４−１）
図１において、補間フレーム作成装置１０１は制御部１０６を備えると記載したが、制御部１０６は、補間フレーム作成装置１０１の外部において、他の装置の制御を並行して行うものであってもよい。

（４−２）
図２を用いて、入力画像信号１１０のフレーム周波数を２倍にするように補間フレームを作成する場合について説明したが、本発明の効果は、フレーム周波数を他の倍率にすべく補間フレームを作成する場合においても同様である。

（４−３）
本実施形態においては、補間フレームＣＦ１２１の作成に際して、補間フレームＣＦ１２１に対して時間的に後方の２枚の基準フレームＢＦ１１７およびＢＦ１１８を構成する画像ブロックの動きベクトルを利用した（図２（ｂ）参照）。ここで、補間フレームの作成において利用される基準フレームの枚数は、２枚に限定されるものではない。利用される基準フレームの枚数を増やすことにより、補間フレームの作成の精度のさらなる向上が期待できる。

（４−４）
本実施形態においては、補間フレームＣＦ１２１の作成に際して、補間フレームＣＦ１２１に対して時間的に後方の基準フレームＢＦ１１７およびＢＦ１１８を構成する画像ブロックの動きベクトルを利用した（図２（ｂ）参照）。ここで、補間フレームに対して時間的に前方の複数の基準フレームの動きベクトルを利用してもよい。これについて、図５を用いて説明する。

図５（ａ）は、フレームメモリ１０２（図１参照）に記憶された基準フレームＢＦ１４６、基準フレームＢＦ１４７、および参照フレームＲＦ１４８を示している。この３枚の画像フレームを用いて、基準フレームＢＦ１４７と参照フレームＲＦ１４８との間を補間する補間フレームＣＦ１５０（図５（ｂ）参照）を作成する。この際、基準フレームＢＦ１４６を構成する画像ブロックと基準フレームＢＦ１４７を構成する画像ブロックとの参照フレームＲＦ１４８に対する動きベクトルＭＶ１５２，ＭＶ１５３を利用する。すなわち、補間フレームＣＦ１５０の作成に際しては、動きベクトルＭＶ１５２，ＭＶ１５３を内分して導出された補間用動きベクトルＣＭＶ１５４，ＣＭＶ１５５が用いられる。

（４−５）
補間フレームの作成に際して、補間フレームに対して時間的に前方または後方の一方にある複数の参照フレームを利用してもよい。補間フレームに対して時間的に前方の複数の参照フレームを利用する場合について、図６を用いて説明する。

図６（ａ）は、フレームメモリ１０２（図１参照）に記憶された参照フレームＲＦ１５６、参照フレームＲＦ１５７、および基準フレームＢＦ１５８を示している。この３枚の画像フレームを用いて、参照フレームＲＦ１５７と基準フレームＢＦ１５８との間を補間する補間フレームＣＦ１５９（図６（ｂ）参照）を作成する。この際、基準フレームＢＦ１５８を構成する画像ブロックの参照フレームＲＦ１５６および参照フレームＲＦ１５７に対する動きベクトルＭＶ１６０，ＭＶ１６１を利用する。すなわち、補間フレームＣＦ１５９の作成に際しては、動きベクトルＭＶ１６０，ＭＶ１６１を内分して導出された補間用動きベクトルＣＭＶ１６２，ＣＭＶ１６３が用いられる。

なお、検出された動きベクトルＭＶ１６０あるいはＭＶ１６１が補間フレームＣＦ１５９を作成するために適切でない場合は、参照フレームＲＦ１５６あるいは参照フレームＲＦ１５７は、結果的に補間フレームＣＦ１５９を作成するために用いられないこともある。

また、補間フレームに対して時間的に後方の複数の参照フレームを利用する場合については、同様の手順で補間フレームを作成するため、説明を省略する。さらに、上記（４−２）および（４−３）については、この場合にも同様であり、例えば、利用される参照フレームの枚数を増やすことにより、補間フレームの作成の精度のさらなる向上が期待できる。

またさらに、複数の参照フレームを利用する場合、同じ画像ブロックについて複数の補間用動きベクトルが導出され、導出された補間用動きベクトルを用いて補間フレームが作成される場合がある。これについて、図７を用いて説明する。

図７では、図６と同様に、参照フレームＲＦ１５６、参照フレームＲＦ１５７、および基準フレームＢＦ１５８を用いて、参照フレームＲＦ１５７と基準フレームＢＦ１５８との間を補間する補間フレームＣＦ１５９を作成している。この際、基準フレームＢＦ１５８を構成する画像ブロック１６６について検出された動きベクトルＭＶ１６７，ＭＶ１６８から補間用動きベクトルＣＭＶ１６９，ＣＭＶ１７０が導出される。この補間用動きベクトルＣＭＶ１６９，ＣＭＶ１７０を用いて、画像ブロック１６６を変位させ、補間フレームＣＦ１５９を形成する補間画素領域１７１，１７２が作成される。

（４−６）
補間フレームの作成に際して、補間フレームに対して時間的に前方または後方の一方にある基準フレームと参照フレームとを利用してもよい。補間フレームに対して時間的に後方の基準フレームと参照フレームとを利用する場合について、図８を用いて説明する。

図８（ａ）は、フレームメモリ１０２（図１参照）に記憶された基準フレームＢＦ１７６および参照フレームＲＦ１７７を示している。この２枚の画像フレームを用いて、基準フレームＢＦ１７６および参照フレームＲＦ１７７に対して時間的に前方の補間フレームＣＦ１７８（図８（ｂ）参照）を作成する。この際、基準フレームＢＦ１７６を構成する画像ブロックの参照フレームＲＦ１７７に対する動きベクトルＭＶ１７９を利用する。すなわち、補間フレームＣＦ１７８の作成に際しては、動きベクトルＭＶ１７９を外分して導出された補間用動きベクトルＣＭＶ１８０が用いられる。

図８（ｃ）を用いて、効果について説明する。基準フレームＢＦ１７６および参照フレームＲＦ１７７に対して時間的に前方の補間フレームＣＦ１７８を作成する場合、補間フレームＣＦ１７８に対して時間的に前方の参照フレームＲＦ１８１を対象として動きベクトルＭＶ１８２を検出することも可能である。しかし、参照フレームＲＦ１８１と基準フレームＢＦ１７６との間に、シーンチェンジなどがある場合、参照フレームＲＦ１８１と基準フレームＢＦ１７６との相関は低い。そのため、検出された動きベクトルＭＶ１８２が基準フレームＢＦ１７６を構成する画像ブロックの動きを表現するのに適切な動きベクトルであるとはいえない。そこで、基準フレームＢＦ１７６と同じシーンである参照フレームＲＦ１７７に対して検出された動きベクトルＭＶ１７９から補間用動きベクトルＣＭＶ１８０を導出し補間フレームを作成する。この結果、補間フレームの精度を向上することができる。

なお、図８では、基準フレームＢＦ１７６が参照フレームＲＦ１７７に対して時間的に前方にある場合について説明したが、基準フレームＢＦ１７６は、参照フレームＲＦ１７７に対して時間的に後方にあってもよい。さらに、基準フレームＢＦ１７６および参照フレームＲＦ１７７は、補間フレームＣＦ１７８に対して時間的に前方にあってもよい。

（４−７）
図２、および図５〜８を用いて説明した補間フレーム作成については、それぞれ単独で用いてもよいし、組み合わせて用いてもよい。組み合わせて用いることで、補間フレームの作成の精度がさらに向上する。これについて、図９を用いて説明する。

図９（ａ）は、フレームメモリ１０２（図１参照）に記憶された画像フレーム画像フレーム１８３〜１８５を示している。画像フレーム１８３と画像フレーム１８４との間に補間フレームＣＦ１８６を作成する。この際、画像フレーム１８３〜１８５のうちの２枚を利用して得られる動きベクトルＭＶ１８７〜ＭＶ１９２を利用する。すなわち、補間フレームＣＦ１８６の作成に際しては、動きベクトルＭＶ１８７〜ＭＶ１９０を内分して導出された補間用動きベクトルＣＭＶ１９３〜ＣＭＶ１９６、あるいは動きベクトルＭＶ１９１，ＭＶ１９２を外分して導出された補間用動きベクトルＣＭＶ１９７，ＣＭＶ１９８が用いられる。これにより、補間フレームＣＦ１８６を双方向の動きベクトルを用いて作成することが可能となる。

また、図２、および図５〜９を用いて説明した補間フレーム作成においては、補間フレームを形成する各補間画素領域は、異なる画像フレームの組み合わせにより検出される動きベクトルに基づいて作成されるものであってもよい。

（４−８）
補間フレーム作成において、補間フレームを構成する補間ブロックごとに補間用動きベクトルを求めることも可能である。これについて、図１０（ａ）を用いて説明する。

基準フレームＢＦ５００と参照フレームＲＦ５０１との間に補間フレームＣＦ５０２を補間する場合、基準フレームＢＦ５００を構成する画像ブロック５０４について動きベクトルＭＶ５０５を検出する。さらに、基準フレームＢＦ５００と参照フレームＲＦ５０１との時間的距離に対する基準フレームＢＦ５００と補間フレームＣＦ５０２との時間的距離の割合で動きベクトルＭＶ５０５を内分して内分動きベクトルＤＭＶ５０６導出する。ここで、この内分動きベクトルＤＭＶ５０６を画像ブロック５０４と同じ位置の補間ブロック５０７についての補間用動きベクトルＣＭＶ５０８とする。すなわち、補間用動きベクトルＣＭＶ５０８の矢印の根に位置する画素領域５０９の画素値に基づいて、補間ブロック５０７を作成する。これにより、補間フレームを埋め尽くすように補間ブロックを作成することが容易になる。

なお、補間ブロック５０７の作成に際して、基準フレームＢＦ５００と参照フレームＲＦ５０１との時間的距離に対する補間フレームＣＦ５０２と参照フレームＲＦ５０１との時間的距離の割合で動きベクトルＭＶ５０５を内分して導出された内分動きベクトルＤＭＶ５１０を用いてもよい。すなわち、内分動きベクトルＤＭＶ５１０を補間ブロック５０７についての補間用動きベクトルＣＭＶ５１１として、補間用動きベクトルＣＭＶ５１１の矢印の先に位置する画素領域５１２の画素値に基づいて、補間ブロック５０７を作成してもよい（図１０（ｂ）参照）。

ここでは、説明の簡単のため、基準フレームＢＦ５００と参照フレームＲＦ５０１との間に補間フレームＣＦ５０２を補間する場合について説明したが、基準フレームや参照フレームが複数の場合に適用可能である。また、補間用動きベクトルを検出された動きベクトルを内分して導出する場合だけでなく外分して導出する場合にも適用可能である。

（４−９）
さらに、他の方法によっても、補間フレーム作成において、補間フレームを構成する補間ブロックごとに補間用動きベクトルを求めることが可能である。これについて、図１１を用いて説明する。

基準フレームＢＦ５１６と参照フレームＲＦ５１７との間に補間フレームＣＦ５１８を補間する場合について説明する。補間フレームＣＦ５１８を構成する補間ブロック５１９を作成するため補間ブロック５１９を通る動きベクトルＭＶ５２０を検出する（図１１（ａ）参照）。この際、基準フレームＢＦ５１６を形成する基準画素領域５２１と参照フレームＲＦ５１７を形成する参照画素領域５２２とのマッチングが行われる（図１１（ｂ）参照）。ここで、参照画素領域５２２の位置は、基準画素領域５２１の位置と補間ブロック５１９の位置とを結ぶベクトル５２３を基準フレームＢＦ５１６と補間フレームＣＦ５１８との時間的距離に対する基準フレームＢＦ５１６と参照フレームＲＦ５１７との時間的距離の割合で外分して導出されたベクトル５２４の示す位置として定められる。すなわち、参照画素領域５２２は、基準フレームＢＦ５１６の基準画素領域５２１に対して、それぞれ一対一に対応している。基準フレームＢＦ５１６の所定の領域５２５が含む基準画素領域５２１について対応する参照画素領域５２２を求め、それぞれの組み合わせについてマッチングを行い、最良の組み合わせにより動きベクトルＭＶ５２０が検出される。動きベクトルＭＶ５２０に基づいて、補間フレームＣＦ５１８を作成する手順については、（４−８）で説明したのでここでは省略する。これにより、（４−８）と同様に、補間フレームを埋め尽くすように補間ブロックを作成することが容易になる。

ここでは、説明の簡単のため、基準フレームＢＦ５１６と参照フレームＲＦ５１７との間に補間フレームＣＦ５１８を補間する場合について説明したが、基準フレームや参照フレームが複数の場合に適用可能である。また、補間用動きベクトルを検出された動きベクトルを内分して導出する場合だけでなく外分して導出する場合にも適用可能である。また、基準画素領域５２１は、基準フレームＢＦ５１６を構成する画像ブロックであってもよい。

（４−１０）
補間フレーム作成装置１０１は、補間フレームの作成の処理の余裕度に応じて補間フレームの作成方法を設定可能であってもよい。例えば、制御部１０６が入力画像信号１１０の画像サイズ、フレーム周波数などを取得し、取得した情報に応じて、補間フレームの作成の処理の余裕度を判断する。図１２に、入力画像信号１１０の画像サイズあるいはフレーム周波数と処理の余裕度との関係を表す概念説明図をしめす。図１２（ａ）は、画像サイズと処理の余裕度との関係を示している。画像サイズが小さいほど処理の余裕度が大きいことを示している。図１２（ｂ）は、フレーム周波数と処理の余裕度との関係を示している。補間するフレーム数が同じであれば、フレーム周波数が低いほど処理の余裕度が大きいことを示している。余裕度の判断の結果により、制御部１０６は、補間フレーム作成部を制御して、補間フレームの作成の枚数を変更させる。また、制御部１０６は、動きベクトル検出部を制御して、補間フレームの作成に際して利用する画像フレームの枚数の変更、動きベクトルの検出範囲の変更、あるいは動きベクトルを検出する画像ブロックの個数の変更などを行う。また、これらの変更は、手動的に行うことが可能であってもよい。

（４−１１）
上記実施形態において、フレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってもよい。

（４−１２）
上記第１実施形態およびその変形例において、補間フレームを作成するために検出された動きベクトルに対して、補間フレーム作成部１０４は、平滑化フィルタを用いて補正処理した補正動きベクトルを導出し、この補正動きベクトルから補間用動きベクトルを導出してもよい。

図１３を用いて、これについて具体的に説明する。図１３（ａ）は、基準フレームＢＦ５５０を構成する画像ブロックＢＬ２１〜ＢＬ２９のそれぞれについて検出された動きベクトルＭＶ２１〜ＭＶ２９を示している。

ここで、画像ブロックＢＬ２５について検出された動きベクトルＭＶ２５の補正処理を行う場合、画像ブロックＢＬ２５に対して上下斜めに位置する３×３の画像ブロックＢＬ２１〜ＢＬ２９の動きベクトルＭＶ２１〜ＭＶ２９を重み係数行列Ｍ２０（図１３（ｂ）参照）を持つ線形平滑化フィルタにより補正処理する。基準フレームＢＦ５５０の画像ブロックＢＬ２１〜ＢＬ２９のそれぞれについて同様の補正処理を行い、基準フレームＢＦ５５０の画像ブロックＢＬ２１〜ＢＬ２９について図１３（ｃ）の補正動きベクトルが導出される。この補正動きベクトルを内分あるいは外分することにより、補間用動きベクトルが導出され、補間フレームが作成される。

これにより、動きベクトルＭＶ２５と周囲の動きベクトルＭＶ２１〜ＭＶ２４，ＭＶ２６〜ＭＶ２９との基準フレームＢＦ５５０内での相関性が高められる。一般的に、画像フレーム内での画像ブロックの動きの相関性は高い。このため、動きベクトルをベクトル空間で補正処理し、相関性を高めることにより補間フレームの高画質化を図ることが可能となる。なお、重み係数行列Ｍ２０の係数は、他の係数であっても良い。

また、平滑化フィルタは、上記で説明した線形平滑化フィルタの他、重み係数が補正処理に用いられる動きベクトルの大きさや動きベクトル同士の距離により適応的に変化する適応平滑化フィルタであってもよい。例えば、ある適応平滑化フィルタでは、補正処理される動きベクトルとその周囲の画像ブロックの動きベクトルとの距離がある閾値より小さい場合に重み係数が大きく、距離がある閾値より大きい場合に重み係数が小さく設定される。すなわち、補正処理される動きベクトルは、同じ動きの特性を有する動きベクトルの影響を大きく受けるように補正処理が行われる。

これにより、同じ動きの特性を有する画像フレーム内の領域において、さらに画像ブロックの動きベクトルの相関性を高めることが可能となり、補間フレームの画質を向上させることが可能となる。

なお、適応平滑化フィルタの重み係数は、基準フレームＢＦ５５０を構成する画像ブロックの代表的な動きを示す１つのベクトルと補正処理に用いられる動きベクトルとの距離により変化するものであっても良い。例えば、代表的な動きを示す１つのベクトルと補正処理に用いられる動きベクトルとの距離が小さければ、その動きベクトルに対して大きい重みを与える。

これにより、それぞれの画像ブロックの動きベクトルは、その動きの特性を保持しつつ、基準フレームＢＦ５５０の代表的な動きに対する相関性が高められる。基準フレームＢＦ５５０の代表的な動きに対する相関性が高められた画像ブロックによる補間フレームの作成が可能となり、補間フレームの画質を向上させることが可能となる。

ここで、画像ブロックの代表的な動きを示すベクトルとは、（ｉ）基準フレームＢＦ５５０全体の動きベクトルの平均値、（ｉｉ）基準フレームＢＦ５５０の外周縁に位置する画像ブロックの動きベクトルの平均値、（ｉｉｉ）基準フレームＢＦ５５０の中央部に位置する複数の画像ブロックの動きベクトルの平均値、（ｉｖ）基準フレームＢＦ５５０中の所定の画像ブロック以外の動きベクトルの平均値、（ｖ）基準フレームＢＦ５５０全体の動きベクトルの最頻値などとして導出される。（ｉｖ）の所定の画像ブロックとは、例えば隣接する画像ブロックの動きベクトルと相関の低い動きベクトルを有すると判断された画像ブロック、あるいは検出された動きベクトルが実際の画像ブロックの動きを正確に反映していないと判断される画像ブロックである。

また、平滑化フィルタは、その他の非線形フィルタ（メディアンフィルタなど）であってもよい。

例えば、メディアンフィルタを用いた場合には、補正処理に用いられる動きベクトルのうち、特異な動きベクトルの影響を減らして補正動きベクトルを導出することが可能となり、補間フレームの画質を向上させることが可能となる。

（４−１３）
上記（４−１２）において、画像ブロック全体のうち、部分的な画像ブロックの動きベクトルは、平滑化フィルタによる補正処理に用いないこととしてもよい。

ここで、部分的な画像ブロックとは、例えば、画像フレームにおいて所定の位置関係にある画像ブロック、隣接する画像ブロックの動きベクトルと相関の低い動きベクトルを有すると判断された画像ブロック、あるいは検出された動きベクトルが実際の画像ブロックの動きを正確に反映していないと判断される画像ブロックである。

隣接する画像ブロックの動きベクトルと相関の低い動きベクトルとは、例えば、隣接する画像ブロックの動きベクトルとの距離が全て一定の値を超える動きベクトルなどである。検出された動きベクトルが実際の画像ブロックの動きを正確に反映していないと判断される画像ブロックとは、動きベクトルの検出の際計算された基準フレームの画像ブロックと参照フレームの画素領域との絶対差分和（ＳＡＤ）がある閾値よりも大きい画像ブロックである。

このような画像ブロックでは、マッチングが適切でないことが多く、動きベクトルの信頼性が低いことが多い。

図１４を用いて、画像フレームにおいて所定の位置関係にある画像ブロックの動きベクトルを補正処理に用いない場合について説明する。

図１４（ａ）は、基準フレームＢＦ５５１の画像ブロックＢＬ３１〜ＢＬ４２のそれぞれについて検出された動きベクトルＭＶ３１〜ＭＶ４２を示している。ここで、基準フレームＢＦ５５１を構成する画像ブロックの動きベクトルを補正処理する場合、あらかじめ基準フレームＢＦ５５１に対して千鳥格子状に画像ブロックを間引き、残りの画像ブロックについて検出された動きベクトルを用いて、全ての画像ブロックの動きベクトルを補正処理する。

図１４（ｂ）に、基準フレームＢＦ５５１に対して千鳥格子状に画像ブロックが間引かれた状態を示す。ここで、間引かれた残りの画像ブロック（画像ブロックＢＬ３１，ＢＬ３３，ＢＬ３５，ＢＬ３７，ＢＬ３９，ＢＬ４１）について検出された動きベクトル（ＭＶ３１，ＭＶ３３，ＭＶ３５，ＭＶ３７，ＭＶ３９，ＭＶ４１）を用いて、画像ブロックＢＬ３６と画像ブロックＢＬ３７とについての補正動きベクトルを導出する場合について説明する。

間引かれた画像ブロック以外の画像ブロックＢＬ３６に対する補正動きベクトルは、周囲の画像ブロックの動きベクトルＭＶ３１，ＭＶ３３，ＭＶ３６，ＭＶ３９，ＭＶ４１について、上記した線形平滑化フィルタ、適応平滑化フィルタ、あるいはその他の非線形フィルタを用いた補正処理により導出される。

間引かれた画像ブロックＢＬ３７に対する補正動きベクトルは、周囲の画像ブロックの動きベクトルＭＶ３３，ＭＶ３６，ＭＶ３８，ＭＶ４１について、上記した線形平滑化フィルタ、適応平滑化フィルタ、あるいはその他の非線形フィルタを用いた補正処理により導出される。また、周囲の画像ブロックの動きベクトルのうちいずれかの動きベクトルＭＶ３３，ＭＶ３６，ＭＶ３８，ＭＶ４１をコピーして補正動きベクトルとしてもよい。ここで、コピー元となる画像ブロックとして、例えば、画像ブロックＢＬ３３，ＢＬ３６，ＢＬ３８，ＢＬ４１のうち、最も小さい絶対差分和（ＳＡＤ）を持つものが選択される。

これにより、動きベクトルの画像フレーム内での相関性を高めることが可能となる。また、画像ブロックを間引いて補正処理を行うため、処理量の減少の効果が高められる。また、補正処理においてローパスフィルタとしての効果を高めることも可能となる。

（４−１４）
上記（４−１２）及び（４−１３）において、動きベクトルが２次元のベクトルとして表現される場合は、２つのベクトル成分についてそれぞれ補正処理が行われ、補正動きベクトルが導出される。また、上記（４−１２）及び（４−１３）では、３×３の画像ブロックの集合によりその中心の画像ブロックの動きベクトルを補正処理するとした。しかし、補正処理に用いる画像ブロックの集合は、３×３に限らない。

（４−１５）
上記（４−１２）及び（４−１３）において説明した補正処理は、隣接する画像ブロックの動きベクトルと相関の低い動きベクトルを有すると判断された画像ブロック、あるいは検出された動きベクトルが実際の画像ブロックの動きを正確に反映していないと判断される画像ブロックのみに対して行うものであっても良い。

また、第１実施形態の変形例として説明した補正処理は、第１実施形態およびその変形例に適用できるだけでなく、動きベクトルを用いた補間フレームの作成に対して広く適用することが可能である。

（４−１６）
上記（４−１２）及び（４−１３）において隣接する画像ブロックの動きベクトルとして異なる参照フレームに対する動きベクトルが検出されている場合、基準フレームからそれぞれの参照フレームまでの時間的距離に応じて、平滑化フィルタの重み係数が適応的に変化するものであっても良い。また、それぞれの動きベクトルを内分あるいは外分して得られる補間用動きベクトルに対して、補正処理を行うものであっても良い。

［第２実施形態］
本発明の第２実施形態について、図１５〜図２０を用いて説明する。

（１）補間フレーム作成装置２０１
図１５に、本発明の第２実施形態としての補間フレーム作成装置２０１を示す。補間フレーム作成装置２０１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において備えられている。補間フレーム作成装置２０１は、動き補償符号化された符号化画像信号２１０を復号化装置２１５により復号化して得られた復号化画像信号２１２を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。

ここで、動き補償符号化とは、画像信号を構成する画像フレーム間の時間的冗長度を削減し情報量を圧縮することを目的とし、画像フレームを構成する画像ブロックの動き補償ベクトルを用いて行われる符号化である。例えば、動画像信号圧縮の国際規格であるＭＰＥＧ（Moving Picture Experts Group）では、符号化に際して、画面内符号化と画面間予測符号化の２つの符号化方法が用いられる。画面内符号化は、画像フレームをそのフレーム内の情報だけで符号化する方法であり、この方法で符号化された画像フレームをＩピクチャと呼んでいる。画面間予測符号化とは、画像フレームをそのフレーム内の情報と他のフレームの情報との両方を用いて符号化する方法であり、この方法で符号化された画像フレームをＰピクチャまたはＢピクチャと呼んでいる。さらに、ＰピクチャまたはＢピクチャにおいては、画面間予測符号化に動き補償符号化を適用した動き補償画面間符号化が用いられている。本実施形態では、上記のＭＰＥＧにより符号化された画像信号を復号化して得られた画像フレームを補間する補間フレームを作成する場合について説明する。

補間フレーム作成装置２０１は、フレームメモリ２０２と、動きベクトル導出部２０３と、補間フレーム作成部２０４と、信号切換部２０５と、制御部２０６とから構成される。フレームメモリ２０２は、復号化画像信号２１２を画像フレーム毎に記憶する。動きベクトル導出部２０３は、画像信号情報取得部２０７と、動きベクトル検出部２０８と、ベクトル変換部２０９とを有している。画像信号情報取得部２０７は、復号化装置２１５から画像信号情報２１３を取得する。ここで、画像信号情報２１３とは、例えば、符号化画像信号２１０から取得される画像ブロック毎の動き補償ベクトル、符号化モード、量子化情報あるいは量子化ＤＣＴ係数などの情報であり、スキップされた画像ブロックとしてデータが伝送されない画像ブロックについての情報も含まれている。ここで、符号化モードとは、画像ブロック毎の符号化方法を示す情報である。動きベクトル検出部２０８は、フレームメモリ２０２に記憶された画像フレームに基づいて、動きベクトルの検出を行う。ベクトル変換部２０９は、画像信号情報取得部２０７と動きベクトル検出部２０８とから情報を取得し、補間フレームの作成のための補間用動きベクトルを出力する。動きベクトル導出部２０３の動作については、後ほど具体的に説明する。補間フレーム作成部２０４は、フレームメモリ２０２に記憶された画像フレームと動きベクトル導出部２０３により導出された補間用動きベクトルとに基づいて、補間フレームを作成する。補間フレーム作成部２０４の動作については、後ほど具体的に説明する。信号切換部２０５は、フレームメモリ２０２の記憶する画像フレームと補間フレーム作成部２０４が作成する補間フレームとを切り換えて、出力画像信号２１１とする。制御部２０６は、動きベクトル導出部２０３と補間フレーム作成部２０４と信号切換部２０５との動作に必要な制御信号を与える。

ここで、図１６を用いて、動きベクトル導出部２０３および補間フレーム作成部２０４の動作をさらに詳しく説明する。図１６（ａ）は、復号化画像信号２１２を構成する画像フレームを示している。復号化画像信号２１２のフレーム周波数を２倍にするように補間フレームを作成する場合について説明する。図１６（ａ）の各画像フレームの符号のアルファベット部（Ｉ１，Ｂ２，Ｂ３，Ｐ４，・・・のＩ，Ｂ，Ｂ，Ｐ，・・・）は、それぞれの画像フレームの符号化の際のピクチャタイプを示している。また、各画像フレームの符号化の際に動き補償を行った画像フレームを矢印で関係づけて表している。すなわち、矢印の先に位置する画像フレームの符号化に際して、矢印の根に位置する画像フレーム（以下、符号化参照フレームという）を参照して、動き補償符号化したことを表している。以下、画像フレームＢ３と画像フレームＰ４との間に補間フレームＣＦ２２０を作成する場合について説明する。

画像信号情報取得部２０７は、画像信号情報２１３を取得し、補間フレームＣＦ２２０を作成するために基準とする画像フレーム（以下、基準フレームという）を構成する画像ブロック全体のうち、部分的な画像ブロック（以下、特定画像ブロックという）を選択する。ここで特定画像ブロックとは、例えば、画像信号情報２１３に基づいて、動き補償ベクトルが０であると判断された画像ブロック、符号化モードにより動き補償ベクトルを有さないと判断された画像ブロック、隣接する画像ブロックの動き補償ベクトルと相関の低い動き補償ベクトルを有すると判断された画像ブロック、あるいは画面内符号化されていると判断された画像ブロックなどである。また、量子化情報および量子化ＤＣＴ係数から得られる画像ブロックについてのＤＣＴ係数の和がある閾値を超える画像ブロックも含まれる。ここで、隣接する画像ブロックの動き補償ベクトルと相関の低い動き補償ベクトルとは、例えば、隣接する画像ブロックの動き補償ベクトルとの距離が全て一定の値を超える動き補償ベクトルなどである。さらに、この特定画像ブロックには、スキップされた画像ブロックとしてデータが伝送されない画像ブロックも含まれている。これらの判断は、特定画像ブロックの選択において単独で用いられても、組み合わせて用いられてもよい。ここで、基準フレームは、補間フレームＣＦ２２０に対して時間的に前方、後方あるいは双方のいずれの画像フレームであってもよい。また、基準フレームは、単数であっても複数であってもよい。

動きベクトル検出部２０８は、画像信号情報取得部２０７により選択された特定画像ブロックについて、動きベクトルの検出を行う。例えば、基準フレームを画像フレームＰ４とする場合、画像フレームＰ４の特定画像ブロックについて、画像フレームＢ３を形成する画素領域とマッチングを行い動きベクトルＭＶ２２１を検出する。さらに、ベクトル変換部２０９は、画像フレームＢ３と画像フレームＰ４との時間的距離に対する補間フレームＣＦ２２０と画像フレームＰ４との時間的距離の割合で動きベクトルＭＶ２２１を内分して補間用動きベクトルＣＭＶ２２２を導出する。すなわち、検出された動きベクトルＭＶ２２１の方向を変えずに大きさを２分の１にし、補間用動きベクトルＣＭＶ２２２を導出する。

一方、特定画像ブロック以外の画像ブロック（以下、一般画像ブロックという）については、画像信号情報取得部２０７が取得した画像信号情報２１３に基づいて、その一般画像ブロックの動き補償ベクトルを取得する。例えば、基準フレームを画像フレームＰ４とする場合、画像フレームＰ４の一般画像ブロックについて、取得された動き補償ベクトルＭＣＶ２２３から補間用動きベクトルＣＭＶ２２４を導出する。補間用動きベクトルＣＭＶ２２４の導出は、画像フレームＰ４の符号化参照フレームである画像フレームＩ１と画像フレームＰ４との時間的距離に対する補間フレームＣＦ２２０と画像フレームＰ４との時間的距離の割合で動き補償ベクトルＭＣＶ２２３を内分することにより行われる。

補間フレーム作成部２０４は、フレームメモリ２０２が記憶する画像フレームと基準フレームを構成する画像ブロックについて導出された補間用動きベクトルＣＭＶ２２２およびＣＭＶ２２４とに基づいて、補間フレームＣＦ２２０を作成する。補間フレームＣＦ２２０の作成については、上記［第１実施形態］で説明を行ったのでここでは省略する。

ここで図１７を用いて、画像信号情報取得部２０７による特定画像ブロックの選択の具体例を説明する。画像ブロックが隣接する画像ブロックの動き補償ベクトルと相関の低い動き補償ベクトルを有すると判断される場合について説明する。図１７は、基準フレームを構成する画像ブロックＢＬ１〜ＢＬ６について、画像信号情報２１３から取得された動き補償ベクトルＭＣＶ１〜ＭＣＶ６を示している。ここで、画像ブロックＢＬ６の動き補償ベクトルＭＣＶ６は、隣接する画像ブロックＢＬ１〜ＢＬ５の動き補償ベクトルＭＣＶ１〜ＭＣＶ５と相関が低い。このとき、画像ブロックＢＬ６は、画像信号情報取得部２０７により特定画像ブロックであるとして判断される。

（２）補間フレーム作成方法
図１８に、補間フレーム作成装置２０１における補間フレーム作成方法を説明するフローチャートを示す。それぞれのステップの詳細な内容は、「（１）補間フレーム作成装置２０１」で説明したのと同様であるので、詳しい説明は省略する。

画像信号情報取得部２０７は、基準フレームの画像信号情報２１３を取得する（ステップＳ２０１）。画像信号情報取得部２０７は、基準フレームを構成する画像ブロックについて、特定画像ブロックであるか否かの判断を行う（ステップＳ２０２）。動きベクトル検出部２０８は、特定画像ブロックに対して、動きベクトルを検出する。（ステップＳ２０３）。ベクトル変換部２０９は、検出された動きベクトルに基づいて、補間用動きベクトルを導出する（ステップＳ２０４）。ベクトル変換部２０９は、一般画像ブロックに対して取得された動き補償ベクトルに基づいて、補間用動きベクトルを導出する（ステップＳ２０５）。全ての画像ブロックについての補間用動きベクトル導出後（ステップＳ２０６）、補間フレーム作成部２０４は、フレームメモリ２０２が記憶する画像フレームと導出された補間用動きベクトルとに基づいて、補間フレームを作成する（ステップＳ２０７）。

（３）第２実施形態の効果
第２実施形態に記載の本発明では、画像信号情報２１３に基づいて、動きベクトルを検出する特定画像ブロックを選択する。このため、動きベクトルの検出の処理量を削減することが可能となる。

ここで、特定画像ブロックは、動き補償ベクトルが０であると判断された画像ブロック、符号化モードにより動き補償ベクトルを有さないと判断された画像ブロック、隣接する画像ブロックの動き補償ベクトルと相関の低い動き補償ベクトルを有すると判断された画像ブロック、あるいは画面内符号化されていると判断された画像ブロックなどである。また、量子化情報および量子化ＤＣＴ係数から得られる画像ブロックについてのＤＣＴ係数の和がある閾値を超える画像ブロックも含まれる。動き補償ベクトルは、必ずしも画像ブロックの実際の動きに対応しているとは限らない。このため、動き補償ベクトルが特異な値を示す画像ブロックについて動きベクトルを検出することで、補間フレームの作成の精度を向上させている。また、符号化参照フレームとは異なる画像フレーム内で動きベクトルを検出することも可能となる。この結果、補間フレームの作成により適切な動きベクトルを検出することが可能となる。

（４）第２実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（４−１）
図１５において、補間フレーム作成装置２０１は制御部２０６を備えると記載したが、制御部２０６は、補間フレーム作成装置２０１の外部において、復号化装置２１５など他の装置の制御を並行して行うものであってもよい。

（４−２）
図１６を用いて、復号化画像信号２１２のフレーム周波数を２倍にするように補間フレームを作成する場合について説明したが、本発明の効果は、フレーム周波数を他の倍率にすべく補間フレームを作成する場合においても同様である。また、本発明の効果は、図１６（ａ）に示した画像フレームに依存するものではなく、画像フレームがＢピクチャを含まないものなど、他の符号化方法で符号化されていたものであってもかまわない。

（４−３）
動きベクトル検出部２０８は、基準フレームの特定画像ブロックについて、動きベクトルの検出を行うと説明した。このとき、特定画像ブロック対して取得された動き補償ベクトルに基づいて、動きベクトルの検出範囲を決定してもよい。これについて、図１９を用いて説明する。図１９は、復号化画像信号２１２を構成する画像フレームを示している。画像フレームＢ３と画像フレームＰ４との間に、画像フレームＰ４を基準フレームとして、補間フレームＣＦ２２５を作成する場合について説明する。画像フレームＰ４の特定画像ブロック２２６は、画像フレームＩ１を符号化参照フレームとして動き補償ベクトルＭＣＶ２２７により動き補償符号化されているとする。動きベクトル検出部２０８は、特定画像ブロック２２６について、画像フレームＢ３を動きベクトルの検出の対象の画像フレーム（以下、参照フレームという）とする。すなわち、動きベクトル検出部２０８は、特定画像ブロック２２６について、画像フレームＢ３を形成する画素領域とマッチングを行い動きベクトルを検出する。このとき、動き補償ベクトルＭＣＶ２２７を内分して、特定画像ブロック２２６の画像フレームＢ３に対する内分動き補償ベクトルＤＶ２２８を導出し、導出された内分動き補償ベクトルＤＶ２２８の近傍２２９から動きベクトルＭＶ２３０を検出する。これにより、動きベクトルの検出の処理量を削減することが可能となると考えられる。

また、この動きベクトルの検出範囲の決定方法は、特定画像ブロックの動き検出をする場合のみならず、一般的に画像フレームの動きベクトルを検出する際にも使用可能である。また、参照フレームとして用いる画像フレームは、符号化参照フレームと同一の画像フレームであってもよい。すなわち、図１９において、動き補償ベクトルＭＣＶ２２７の近傍において動きベクトルを検出してもよい。

（４−４）
また、基準フレームを構成するすべての画像ブロックについて、取得された動き補償ベクトルを補間用動きベクトルとして用いるものであってもよい。具体的には、基準フレームを構成するすべての画像ブロックについて、取得された動き補償ベクトルから補間用動きベクトルを導出する。すなわち、基準フレームを符号化した際の符号化参照フレームと基準フレームとの時間的距離に対する補間フレームと基準フレームとの時間的距離の割合で動き補償ベクトルを内分して補間用動きベクトルを導出する。さらに、フレームメモリ２０２が記憶する画像フレームと基準フレームを構成する画像ブロックについて導出された補間用動きベクトルとに基づいて、補間フレームを作成する。

ここで、動きベクトル導出部２０３は、取得した動き補償ベクトルに対して、平滑化フィルタを用いて補正処理した補正動き補償ベクトルを導出し、この補正動き補償ベクトルから補間用動きベクトルを導出してもよい。

詳細な内容は、上記［第１実施形態］（４−１２）において、図１３を用いて説明したのと同様である。図１３は、検出された動きベクトルについての補正処理であるが、動き補償ベクトルに対しても同様に適用可能である。

動き補償ベクトルは、必ずしも画像ブロックの実際の動きに対応しているとは限らない。一方、一般的に隣接する画像ブロックの動きの相関性は高い。このため、動き補償ベクトルをベクトル空間で補正処理し、相関性を高めることにより補間フレームの高画質化を図ることが可能となる。

なお、動き補償ベクトルが２次元のベクトルとして表現される場合は、２つのベクトル成分についてそれぞれ補正処理が行われ、補正動き補償ベクトルが導出される。また、上記では、３×３の画像ブロックの集合によりその中心の画像ブロックの動き補償ベクトルを補正処理するとした。しかし、補正処理に用いる画像ブロックの集合は、３×３に限られない。

また、平滑化フィルタによる補正処理の前に、基準フレームにおいて、所定の位置関係にある画像ブロックについては間引いておいておき、残りの画像ブロックの動き補償ベクトルを用いて、補正動き補償ベクトルを導出してもよい。

詳細な内容は、上記［第１実施形態］（４−１３）において、図１４を用いて説明したのと同様である。図１４は、検出された動きベクトルについての補正処理であるが、動き補償ベクトルに対しても同様に適用可能である。

ここで、間引かれる画像ブロックは、基準フレームにおいて、所定の位置関係にある画像ブロック、例えば、千鳥格子状に配置された画像ブロックなどである。これは一種の適応平滑化フィルタともいえるが、平滑化フィルタとしてメディアンフィルタなどの非線形フィルタを用いる場合には、処理量の減少の効果が高められる。また、ローパスフィルタとしての効果を高めることも可能となる。

さらに、これらの平滑化フィルタによる処理は、本変形例にのみ適用されるものではなく、上記第２実施形態においても同様に用いることが可能である。

（４−５）
補間フレーム作成装置２０１は、補間フレームの作成の処理の余裕度に応じて補間フレームの作成方法を設定可能であってもよい。例えば、制御部２０６は、復号化画像信号２１２の画像サイズ、フレーム周波数などに応じて、補間フレームの作成の処理の余裕度を判断する。復号化画像信号２１２の画像サイズあるいはフレーム周波数と処理の余裕度との関係は、図１２に示した入力画像信号１１０の画像サイズあるいはフレーム周波数と処理の余裕度との関係と同様であるので説明は省略する。余裕度の判断の結果により、制御部２０６は、補間フレーム作成部を制御して、補間フレームの作成の枚数を変更させる。また、制御部２０６は、補間フレームの作成に際して利用する画像フレームの枚数の変更、動きベクトルの検出範囲の変更、あるいは動きベクトルを検出する画像ブロックの個数の変更などを行う。また、これらの変更は、手動的に行うことが可能であってもよい。

（４−６）
上記実施形態において、フレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってもよい。

（４−７）
図１５のブロック図に示したそれぞれのブロックの機能は、上記で説明したものに限られない。例えば、補間フレーム作成部２０４が、ベクトル変換部２０９の機能を含んでいても良い。

（５）復号化装置２１５
図２０を用いて、復号化装置２１５について説明する。復号化装置２１５は、動き補償符号化された符号化画像信号２１０を復号化し、復号化画像信号２１２および画像信号情報２１３を出力する装置であり、補間フレーム作成装置２０１を備えるテレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置に内蔵あるいは接続される装置である。復号化装置２１５が、ＭＰＥＧにより符号化された符号化画像信号２１０を復号化する場合について説明する。可変長復号部２３５では、画像ブロック毎の画像信号情報２１３が復号化され、符号化モード、動き補償ベクトル、量子化情報および量子化ＤＣＴ係数などが分離される。量子化ＤＣＴ係数は逆量子化部２３６でＤＣＴ係数に復元され、逆直交変換部２３７により画素データに変換される。画面内符号化されたＩピクチャは、そのまま復号化画像信号２１２として出力される。画面間予測符号化されたＰ，Ｂピクチャは、動き補償部２３８で動き補償された画素データを加算して出力される。また、Ｉ，Ｐピクチャについては、その後の復号処理で用いる必要があるためフレームメモリ２３９に蓄積される。

［第３実施形態］
上記［第２実施形態］（４−４）において、「基準フレームを構成するすべての画像ブロックについて、取得された動き補償ベクトルを補間用動きベクトルとして用いるものであってもよい。」と説明した。ここで、選択された特定画像ブロックの動き補償ベクトルを特定画像ブロック以外の画像ブロック（以下、一般画像ブロックという）の動き補償ベクトルにより補正処理した補正動き補償ベクトルを用いて、補間用動きベクトルが導出されてもよい。

本発明の第３実施形態について、図２１〜図２４を用いて説明する。
（１）補間フレーム作成装置６０１
図２１に、この機能を実現する補間フレーム作成装置６０１を示す。補間フレーム作成装置６０１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において備えられている。補間フレーム作成装置６０１は、動き補償符号化された符号化画像信号２１０を復号化装置２１５により復号化して得られた復号化画像信号２１２を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。

補間フレーム作成装置６０１と図１５に示した補間フレーム作成装置２０１との差違点は、動きベクトル検出部２０８に相当する機能を備えないことにある。また、装置を構成する各部の動作は、上記［第２実施形態］で図１５を用いて説明した各部の動作とほぼ同様であるので、以下、主に相違点について説明する。さらに、上記［第２実施形態］で説明した各構成と同一の部分には、上記［第２実施形態］で付したのと同じ符号を付し、詳しい説明を省略する。

補間フレーム作成装置６０１は、フレームメモリ６０２と、ベクトル導出部６０３と、補間フレーム作成部６０４と、信号切換部６０５と、制御部６０６とから構成される。

フレームメモリ６０２は、復号化画像信号２１２を画像フレーム毎に記憶する。
ベクトル導出部６０３は、画像信号情報取得部６０７と、ベクトル変換部６０９とを有している。画像信号情報取得部６０７は、復号化装置２１５から画像信号情報２１３を取得する。ベクトル変換部６０９は、画像信号情報取得部６０７から情報を取得する。ベクトル変換部６０９は、取得された情報に基づいて、特定画像ブロックを選択し、特定画像ブロックの動き補償ベクトルを補正処理する。また、ベクトル変換部６０９は、補正処理された補正動き補償ベクトルと一般画像ブロックの動き補償ベクトルとを出力する。

ここで、特定画像ブロックとは、画像信号情報２１３に基づいて、動き補償ベクトルが０であると判断された画像ブロック、符号化モードにより動き補償ベクトルを有さないと判断された画像ブロック、隣接する画像ブロックの動き補償ベクトルと相関の低い動き補償ベクトルを有すると判断された画像ブロック、あるいは画面内符号化されていると判断された画像ブロックなどである。また、量子化情報および量子化ＤＣＴ係数から得られる画像ブロックについてのＤＣＴ係数の和がある閾値を超える画像ブロックも含まれる。ここで、隣接する画像ブロックの動き補償ベクトルと相関の低い動き補償ベクトルとは、例えば、隣接する画像ブロックの動き補償ベクトルとの距離が全て一定の値を超える動き補償ベクトルなどである。さらに、この特定画像ブロックには、スキップされた画像ブロックとしてデータが伝送されない画像ブロックも含まれている。ベクトル変換部６０９による動き補償ベクトルの補正処理については後ほど説明を加える。

補間フレーム作成部６０４は、一般画像ブロックの動き補償ベクトルと、特定画像ブロックの補正処理された補正動き補償ベクトルとから画像ブロックのそれぞれについて補間用動きベクトルを導出し、補間フレームを作成する。すなわち、特定画像ブロックについては補正動き補償ベクトルを用いて補間用動きベクトルを導出する点を除き、上記［第２実施形態］で説明したのと同様に、補間用動きベクトルが導出される。

信号切換部６０５は、フレームメモリ６０２の記憶する画像フレームと補間フレーム作成部６０４が作成する補間フレームとを切り換えて、出力画像信号６１１とする。制御部６０６は、ベクトル導出部６０３と補間フレーム作成部６０４と信号切換部６０５との動作に必要な制御信号を与える。

（１−１）ベクトル変換部６０９の動作
ベクトル変換部６０９の動作について、さらに詳細に説明する。ベクトル変換部６０９は、特定画像ブロックを選択すると、特定画像ブロックについて得られている動き補償ベクトルの補正処理を行い、補正動き補償ベクトルを得る。

ここで、図２２を用いて、補正動き補償ベクトルの導出の具体例を説明する。図２２（ａ）は、画像ブロックＢＬ１１〜ＢＬ１９について、画像信号情報２１３から取得された動き補償ベクトルＭＣＶ１１〜ＭＣＶ１４，ＭＣＶ１６〜ＭＣＶ１９を示している。ここで、画像ブロックＢＬ１５は、動き補償ベクトルを有していない。すなわち、画像ブロックＢＬ１５は、画面内符号化された画像ブロックやスキップされた画像ブロックとしてデータが伝送されなかった画像ブロックなどである。

この画像ブロックＢＬ１５について、周囲の画像ブロックＢＬ１１〜ＢＬ１４，ＢＬ１６〜ＢＬ１９を用いて補正動き補償ベクトルを導出する。例えば、画像ブロックＢＬ１５の周囲の画像ブロックであるＢＬ１６の動き補償ベクトルＭＣＶ１６をコピーして、補正動き補償ベクトルＥＶ１５とする（図２２（ｂ）参照）。ここで、コピー元となる画像ブロックは、例えば、周囲の画像ブロックＢＬ１１〜ＢＬ１４，ＢＬ１６〜ＢＬ１９のうち、ＤＣＴ係数の和が最も小さいと判断された画像ブロックが選択される。

画像ブロックＢＬ１５が動き補償ベクトルを有していても、特定画像ブロックであると判断された場合には、画像ブロックＢＬ１５の動き補償ベクトルを周囲の画像ブロックの動き補償ベクトルにより置き換えて補正動き補償ベクトルとする。

（２）補間フレーム作成方法
図２３に、補間フレーム作成装置６０１における補間フレーム作成方法を説明するフローチャートを示す。それぞれのステップの詳細な内容は、「（１）補間フレーム作成装置６０１」で説明したのと同様であるので、詳しい説明は省略する。

画像信号情報取得部６０７は、画像信号情報２１３を取得する（ステップＳ６０１）。ベクトル変換部６０９は、画像ブロックについて、特定画像ブロックであるか否かの判断を行う（ステップＳ６０２）。ベクトル変換部６０９は、特定画像ブロックの動き補償ベクトルを補正処理し、補正動き補償ベクトルを導出する。（ステップＳ６０３）。全ての画像ブロックについて特定画像ブロックであるか否かの判断を行った後（ステップＳ６０４）、補間フレーム作成部６０４は、一般画像ブロックの動き補償ベクトルと特定画像ブロックの補正処理された補正動き補償ベクトルとからそれぞれの画像ブロックの補間用動きベクトルを導出する（ステップＳ６０５）。さらに、補間フレーム作成部６０４は、フレームメモリ６０２が記憶する画像フレームと導出された補間用動きベクトルとに基づいて、補間フレームを作成する（ステップＳ６０６）。

（３）第３実施形態の効果
第３実施形態に記載の本発明では、画像信号情報２１３に基づいて、特定画像ブロックを選択する。特定画像ブロックの動き補償ベクトルは、実際の動きを正確に反映していないと判断される動き補償ベクトルを持つ画像ブロックである。この特定画像ブロックの動き補償ベクトルを補正処理した補正動き補償ベクトルを用いて補間フレームが作成される。ここで、補正動き補償ベクトルは、周囲の画像ブロックの動き補償ベクトルをコピーすることにより得られている。一般的に、画像ブロックの動きは、周囲の画像ブロックの動きとの空間的な相関性が大きい。このため、周囲の画像ブロックと空間的な相関性の大きい補正動き補償ベクトルを用いて補間フレームを作成することにより、補間フレーム作成装置６０１では、補間フレームの画質が向上する。

また、補間フレーム作成装置６０１では、画像ブロックについての動き検出の処理を行わずに補間用動きベクトルが導出される。そのため、装置における処理量を減らすことが可能となる。

（４）第３実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（４−１）
ベクトル変換部６０９の行う動き補償ベクトルの補正処理は、特定画像ブロックの周囲の画像ブロックの動き補償ベクトルを線形平滑化フィルタ、メディアンフィルタなどの非線形フィルタを用いて補正処理するものであってもよい。

図２４を用いて、補正処理について具体的に説明する。図２４（ａ）は、画像ブロックＢＬ１１〜ＢＬ１９について、画像信号情報２１３から取得された動き補償ベクトルＭＣＶ１１〜ＭＣＶ１９を示している。ここで、画像ブロックＢＬ１５が特定画像ブロックであると判断されているとする。すなわち、画像ブロックＢＬ１５は、隣接する画像ブロックの動き補償ベクトルと相関の低い動き補償ベクトルＭＣＶ１５を有すると判断された画像ブロック、ＤＣＴ係数の和がある閾値を超える画像ブロックなどである。

この３×３の画像ブロックＢＬ１１〜ＢＬ１９の動き補償ベクトルＭＣＶ１１〜ＭＣＶ１９について、図２４（ｂ）に示すような３×３の重み係数行列Ｍ２５を持つ線形平滑化フィルタを用いて、補正動き補償ベクトルＥＶ１５を導出する（図２４（ｃ）参照）。また、メディアンフィルタ、最小値フィルタあるいは最大値フィルタなどの非線形フィルタを用いて、補正動き補償ベクトルＥＶ１５を導出してもよい。

これらの補正処理により、特定画像ブロックについて、周囲の画像ブロックの動き補償ベクトルとの空間相関性の高い補正動き補償ベクトルを導出することが可能となる。

なお、図２４（ｂ）に示すような重み係数行列Ｍ２５は、他の係数を持つものであっても良い。さらに、動き補償ベクトルＭＣＶ１１〜ＭＣＶ１９の大きさなどに応じて係数が適応的に変化するものであってもよい。

また、この適応平滑化フィルタの重み係数は、画像フレームを構成する画像ブロックの代表的な動きを示す１つのベクトルと補正処理に用いられる動き補償ベクトルＭＣＶ１１〜ＭＣＶ１９との距離により変化するものであっても良い。例えば、代表的な動きを示す１つのベクトルと補正処理に用いられる動き補償ベクトルＭＣＶ１１〜ＭＣＶ１９との距離が小さければ、その動きベクトルに対して大きい重みを与える。

これにより、特定画像ブロックについて、周囲の画像ブロックの動き補償ベクトルとの空間相関性と画像フレームの代表的な動きとの相関性とが高められた補正動き補償ベクトルを導出することが可能となる。

（４−２）
特定画像ブロックについて周囲の画像ブロックの動き補償ベクトルをコピーする際には、コピー元となる画像ブロックの動き補償ベクトルを次の様に選択しても良い。

まず、特定画像ブロックの周囲の画像ブロックの動き補償ベクトルをコピーする。特定画像ブロックを含む画像フレームを動き補償符号化する際に参照した画像フレーム（以下、符号化参照フレームという）において、その動き補償ベクトルより示される画素領域と特定画像ブロックとの絶対差分和（ＳＡＤ）を求める。周囲の画像ブロックにおいてこのＳＡＤを計算し、ＳＡＤが最小となる動き補償ベクトルを特定画像ブロックの補正動き補償ベクトルとして選択する。

この補正処理により、正確な動きを反映していないと判断される動き補償ベクトルを有する特定画像ブロックについて、周囲の画像ブロックとの動きの相関性を保って補間フレームを作成することが可能となる。このため、補間フレームの画質が向上する。

（４−３）
上記［第２実施形態］（４−４）において説明した平滑化フィルタを用いた動き補償ベクトルの補正処理は、本実施形態およびその変形例に対しても適用可能である。また、平滑化フィルタによる補正処理の前に、画像フレームにおいて、所定の位置関係にある画像ブロックについては間引いておいてもよい。これらの処理は、例えば、ベクトル変換部６０９により行われる。

動き補償ベクトルは、必ずしも画像ブロックの実際の動きに対応しているとは限らない。一方、一般的に隣接する画像ブロックの動きの相関性は高い。このため、動き補償ベクトルをベクトル空間で平滑化処理し、相関性を高めることにより補間フレームの高画質化を図ることが可能となる。さらに、特定画像ブロックについても、隣接する画像ブロックとの相関性を高めた補正動き補償ベクトルを導出することが可能となる。

［第４実施形態］
本発明の第４実施形態について、図２５〜図２８を用いて説明する。

（１）補間フレーム作成装置
図２５に、本発明の第４実施形態としての補間フレーム作成装置３０１を示す。補間フレーム作成装置３０１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において、画像信号を構成する画像フレームに基づいて、画像フレームを補間する補間フレームを作成する装置である。補間フレーム作成装置３０１は、復号化装置３０２、符号化装置３０３および制御装置３０４と接続されている。

補間フレーム作成装置３０１は、フレームメモリ３３０と、画像信号情報取得部３３１と、動きベクトル取得部３３２と、ベクトル変換部３３３と、補間フレーム作成部３３４と、信号切換部３３５とから構成される。フレームメモリ３３０は、動き補償符号化された符号化画像信号３１５を復号化装置３０２により復号化して得られた復号化画像信号３１６を画像フレーム毎に記憶する。画像信号情報取得部３３１は、後述する復号化装置３０２から画像信号情報３１７を取得する。動きベクトル取得部３３２は、後述する符号化装置３０３から動きベクトルＭＶ３１８を取得する。ベクトル変換部３３３は、画像信号情報取得部３３１または動きベクトル取得部３３２から情報を取得し、補間フレームの作成のための補間用動きベクトルを出力する。補間フレーム作成部３３４は、フレームメモリ３３０に記憶された画像フレームとベクトル変換部３３３により出力された補間用動きベクトルとに基づいて、補間フレームを作成する。信号切換部３３５は、フレームメモリ３３０の記憶する画像フレームと補間フレーム作成部３３４が作成する補間フレームとを切り換えて、出力画像信号３２０とする。補間フレーム作成装置３０１のさらに詳しい動作については、「（２）補間フレーム作成方法」において説明する。

復号化装置３０２は、動き補償符号化された符号化画像信号３１５を復号化して復号化画像信号３１６および画像信号情報３１７を出力する装置である。復号化装置３０２は、上記［第２実施形態］において説明した復号化装置２１５と同様であるので詳しい説明は省略する。また、画像信号情報３１７とは、例えば、符号化画像信号３１５から取得される画像ブロック毎の動き補償ベクトル、符号化モードなどの情報である。ここで、符号化モードとは、画像ブロック毎の符号化方法を示す情報である。すなわち、符号化モードは、画像ブロックが画面内符号化されている、あるいは画面間予測符号化されているという情報などを示している。

符号化装置３０３は、入力画像信号３２１を動き補償符号化し、符号化画像信号３２２を出力する装置である。符号化装置３０３は、符号化部３２３と、動き補償部３２４とを備えている。符号化部３２３の動作については後述する。動き補償部３２４は、フレームメモリ３２５と、動きベクトル検出部３２６とを備えている。フレームメモリ３２５は、入力画像信号３２１を画像フレーム毎に記憶する。動きベクトル検出部３２６は、フレームメモリ３２５が記憶する画像フレームに基づいて、動きベクトルＭＶ３１８を検出する。さらに、動きベクトル検出部３２６は、動作状況を検出部動作情報３１９として出力する。検出部動作情報３１９は、例えば、動きベクトル検出部３２６が動作しているか否かについての情報、あるいは動きベクトルの検出精度や入力画像信号３２１を符号化する際の符号化方法などによって決まる動きベクトル検出部３２６の処理の余裕度についての情報などである。

制御装置３０４は、検出部動作情報３１９を取得し、補間フレーム作成装置３０１と復号化装置３０２と符号化装置３０３との動作に必要な制御信号を与える。

ここで、符号化部３２３の動作について、図２６を用いて説明する。符号化部３２３は、直交変換部３４０と、量子化部３４１と、可変長符号化部３４２と、逆量子化部３４３と、逆直交変換部３４４とを備えている。符号化部３２３が、ＭＰＥＧにより符号化を行う場合について説明する。入力画像信号３２１は、符号化される順番に並べ替えられた後、直交変換部３４０でＤＣＴ係数に変換される。量子化部３４１は、ＤＣＴ係数を量子化する。量子化された量子化ＤＣＴ係数は、動き補償部３２４から取得される動き補償ベクトルや符号化モードとともに可変長符号化部３４２により可変長符号化され、符号化画像信号３２２として出力される。量子化された量子化ＤＣＴ係数のうち、動き補償に用いられる情報は、逆量子化部３４３および逆直交変換部３４４により復号化され、動き補償部３２４のフレームメモリ３２５に記憶される。

（２）補間フレーム作成方法
図２７に、補間フレーム作成装置３０１における補間フレーム作成方法を説明するフローチャートを示す。制御装置３０４は、動きベクトル検出部３２６から検出部動作情報３１９を取得し、動きベクトル検出部３２６が動作しているか否かを判断する（ステップＳ３０１）。

動きベクトル検出部３２６が動作していない場合、補間フレーム作成部３３４は、補間フレームを作成する（ステップＳ３０２）。補間フレームは、動きベクトル検出部３２６により検出された動きベクトルＭＶ３１８とフレームメモリ３３０に記憶された画像フレームとに基づいて作成される。ここで、上記［第１実施形態］で説明した補間フレーム作成方法を利用することも可能である。

動きベクトル検出部３２６が動作している場合、制御装置３０４は、検出部動作情報３１９から動きベクトル検出部３２６の処理の余裕度を判断する（ステップＳ３０３）。図２８に、動きベクトル検出部３２６の処理の余裕度についての概念説明図を示す。図２８（ａ）は、入力画像信号３２１の画像サイズに応じて決まる動きベクトル検出部３２６の処理の余裕度を示している。画像サイズが大きいほど動きベクトル検出部３２６の処理の余裕度が小さいことを示している。図２８（ｂ）は、入力画像信号３２１を動き補償符号化する際の動きベクトルの検出範囲に応じて決まる動きベクトル検出部３２６の処理の余裕度を示している。検出範囲が大きいほど動きベクトル検出部３２６の処理の余裕度が小さいことを示している。図２８（ｃ）は、入力画像信号３２１のフレーム周波数に応じて決まる動きベクトル検出部３２６の処理の余裕度を示している。フレーム周波数が大きいほど動きベクトル検出部３２６の処理の余裕度が小さいことを示している。図２８（ｄ）は、入力画像信号３２１を符号化する際の符号化方法に応じて決まる動きベクトル検出部３２６の処理の余裕度を示している。符号化画像信号３２２がＩ，Ｐ，Ｂピクチャから構成される場合に処理の余裕度が小さい事を示している。

処理の余裕度が無いと判断された場合、補間フレーム作成部３３４は、復号化装置３０２から取得される画像信号情報３１７とフレームメモリ３３０に記憶された画像フレームとに基づいて補間フレームを作成する（図２７、ステップＳ３０４参照）。すなわち、画像信号情報３１７の動き補償ベクトルを用いて、補間フレームを作成する。詳しい内容は、上記［第２実施形態］の変形例で（４−４）として説明したのと同様であるので、説明は省略する。

処理の余裕度が有ると判断された場合、補間フレーム作成部３３４は、処理の余裕度に応じて、補間フレームを作成する（ステップＳ３０５）。具体的には、処理の余裕度が大きい（図２８参照）と判断された場合、補間フレームの作成枚数を増やす、補間フレームの作成のための動きベクトルの検出範囲を広げる、動きベクトルを検出するブロックの個数を増やす、あるいは補間フレームを作成するために利用する画像フレームの枚数を増やすなどの制御が行われる。

（３）第４実施形態の効果
第４実施形態に記載の本発明では、補間フレーム作成装置３０１は、符号化装置３０３が備える動き補償部３２４を利用する。これにより、ハードウェアの回路規模の削減が可能となる。また、ソフトウェアのコード規模の削減が可能となる。

また、動き補償部３２４の処理の余裕度に応じて補間フレームの作成を制御しているため、ハードウェア資源を有効に活用し、処理の余裕度の範囲で適切な補間フレームの作成を行うことができる。

（４）第４実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（４−１）
図２５の説明において、補間フレーム作成装置３０１は、復号化装置３０２により復号化して得られた復号化画像信号３１６を取得するとした。ここで、補間フレーム作成装置３０１への入力信号は、復号化装置３０２を介さない入力画像信号であってもよい。この場合、復号化画像信号３１６が得られないため、図２７のステップＳ３０４では、補間フレームを作成しないとしてもよい。

（４−２）
上記実施形態では、動きベクトル検出部３２６の処理の余裕度に応じて補間フレームの作成を制御することとした。ここで、補間フレームの作成を優先させ、符号化装置による動きベクトル検出部３２６の処理を削減するように制御を行うものであってもよい。具体的には、動きベクトル検出部３２６による入力画像信号３２１の動きベクトルの検出処理中に補間フレームの作成を行う場合、補間フレームの作成を優先し、入力画像信号３２１の動きベクトルの検出範囲を変更するなど、動きベクトルの検出の処理量を削減する制御が行われる。

（４−３）
図２７のステップＳ３０３〜Ｓ３０５において、動きベクトル検出部３２６が動作している場合に、その処理の余裕度に応じて補間フレームの作成を制御すると説明した。ここで、動きベクトル検出部３２６が動作している場合は、補間フレームの作成を行わないものであってもよい。あるいは、動きベクトル検出部３２６が動作している場合、補間フレーム作成部３３４は、復号化装置３０２から取得される画像信号情報３１７とフレームメモリ３３０に記憶された画像フレームとに基づいて補間フレームを作成するとしてもよい。

（４−４）
上記実施形態では、検出部動作情報３１９に基づいて、制御装置３０４が動きベクトル検出部３２６の処理の余裕度を判断するとした。ここで、動きベクトル検出部３２６の処理の余裕度は、符号化装置３０３が処理を行う際に、処理に要する時間に基づいて、制御装置３０４が直接判断するものであってもよい。

（４−５）
補間フレーム作成装置３０１においても、上記［第１実施形態］の変形例（４−１０）、あるいは上記［第２実施形態］の変形例（４−５）と同様に、補間フレームの作成の処理の余裕度に応じて補間フレームの作成方法を設定可能であってもよい。例えば、フレームメモリ３３０に入力される復号化画像信号３１６の画像サイズやフレーム周波数により、補間フレームの作成方法を変更可能であってもよい。

（４−６）
上記実施形態において、フレームとは、順次走査画像におけるフレームであっても、飛び越し走査画像におけるフレームまたはフィールドであってもよい。

［第５実施形態］
上記［第１実施形態］〜［第４実施形態］においては、画像ブロックのそれぞれについて補間用動きベクトルを導出し、補間フレームを作成した。ここで、補間フレームは、補間フレーム作成の基準となる基準フレームを１つの補間用動きベクトルにより移動することにより作成されてもよい。この場合、それぞれの画像ブロック毎に補間用動きベクトルを導出する必要がなく、補間用動きベクトルの導出の処理量が低減する。さらに、基準フレームを１つの補間用動きベクトルにより移動するため、補間フレームにおける画像の歪みが低減される。また、基準フレームを１つの補間用動きベクトルにより移動し、補間フレームを作成するため、補間フレーム作成の処理量が低減する。

本発明の第５実施形態について、図２９〜図３３を用いて説明する。
（１）補間フレーム作成装置６２１
図２９に、この機能を実現する補間フレーム作成装置６２１を示す。補間フレーム作成装置６２１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において備えられている。補間フレーム作成装置６２１は、動き補償符号化された符号化画像信号２１０を復号化装置２１５により復号化して得られた復号化画像信号２１２を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。

補間フレーム作成装置６２１と図２１に示した補間フレーム作成装置６０１とは、構成上共通する点も多いため、以下、主に相違点について説明する。

補間フレーム作成装置６２１は、フレームメモリ６２２と、ベクトル導出部６２３と、補間フレーム作成部６２４と、信号切換部６２５と、制御部６２６とから構成される。ベクトル導出部６２３は、画像信号情報取得部６２７と、ベクトル変換部６２９とを有している。画像信号情報取得部６２７は、復号化装置２１５から画像信号情報２１３を取得する。ベクトル変換部６２９は、画像信号情報取得部６２７から情報を取得する。

補間フレーム作成装置６２１と図２１に示した補間フレーム作成装置６０１との相違点であるベクトル変換部６２９と補間フレーム作成部６２４との動作について以下説明を行う。

（１−１）ベクトル変換部６２９の動作
ベクトル変換部６２９は、画像信号情報取得部６２７から情報を取得する。さらに、ベクトル変換部６２９は、画像信号情報２１３が有する動き補償ベクトルから１つの補間用ベクトルを導出する。

具体的には、（ｉ）画像フレーム全体の動き補償ベクトルの平均値、（ｉｉ）画像フレームの外周縁に位置する画像ブロックの動き補償ベクトルの平均値、（ｉｉｉ）画像フレームの中央部に位置する画像ブロックの動き補償ベクトルの平均値、（ｉｖ）画像フレーム中の所定の画像ブロック以外の動き補償ベクトルの平均値、（ｖ）画像フレーム全体の動き補償ベクトルの最頻値などとして１つの補間用ベクトルが導出される。ここで、（ｉｖ）の所定の画像ブロックとは、例えば上記［第２実施形態］あるいは上記［第３実施形態］で説明した特定画像ブロックなどである。

上記した（ｉ）〜（ｖ）により導出された１つの補間用ベクトルは、次の様な画像フレームの動きの特徴を捉えることができる。（ｉ）では、画像フレーム全体の代表的な動きを捉えることが可能となる。（ｉｉ）では、画像フレーム全体の動き、例えば、ビデオカメラなどの手ぶれなどを特徴的に捉えることが可能となる。（ｉｉｉ）では、画像フレームの代表的な動き、例えば、被写体の動きなどを特徴的に捉えることが可能となる。（ｉｖ）では、それぞれの画像ブロックの動きを正確に反映していないと判断される動き補償ベクトルを除き、画像フレーム全体のより正確な動きを捉えることが可能となる。（ｖ）では、画像フレーム全体の動きを捉えることが可能となる。

ベクトル変換部６２９は、これらの（ｉ）〜（ｖ）の補間用ベクトルの導出方法を画像フレームの特徴に応じて切り換える、あるいは固定して適用する。なお、これら（ｉ）〜（ｖ）の補間用ベクトルの導出方法により導出したそれぞれの１つの補間用ベクトルに重みをつけて組み合わせた１つのベクトルを１つの補間用ベクトルとしても良い。

（１−２）補間フレーム作成部６２４の動作
補間フレーム作成部６２４は、ベクトル変換部６２９が導出した１つの補間用ベクトルを内分あるいは外分して、補間用動きベクトルを導出する。具体的には、基準フレームを動き補償符号化した際の符号化参照フレームと基準フレームとの時間的距離に対する補間フレームと基準フレームとの時間的距離の割合で１つの補間用ベクトルを内分あるいは外分して補間用動きベクトルを導出する。さらに、補間フレーム作成部６２４は、導出された補間用動きベクトルと、フレームメモリ６２２が記憶する画像フレームとから補間フレームを作成する。

図３０を用いて、補間フレームＣＦ６４０（図３０（ｂ）参照）の作成について説明する。補間フレームＣＦ６４０を作成する基準となる画像フレームである基準フレームＢＦ６４１に対して、（１−１）で説明した補間用ベクトルの導出方法により１つの補間用ベクトルが導出され、さらに補間フレーム作成部６２４により補間用動きベクトルＣＭＶ６４２が導出されている（図３０（ａ）参照）。

補間フレームＣＦ６４０上の画素領域６４５は、補間用動きベクトルＣＭＶ６４２による移動後の基準フレームＢＦ６４１’の一部を貼り付けることにより領域補償される。

一方、補間フレームＣＦ６４０上の画素領域６４６については、基準フレームＢＦ６４１あるいは移動後の基準フレームＢＦ６４１’を用いて、領域補償が行われる。

具体的には、（ｉ）基準フレームＢＦ６４１の同じ位置の画素を貼り付ける、（ｉｉ）移動後の基準フレームＢＦ６４１’の端の画素データを繰り返す、（ｉｉｉ）移動後の基準フレームＢＦ６４１’の外周縁の画素領域を用いて滑らかに領域補償するなどの方法により、画素領域６４６の領域補償が行われる。

図３１を用いて、それぞれについて詳しく説明する。図３１（ａ）では、基準フレームＢＦ６４１が補間用動きベクトルＣＭＶ６４２により平行移動される様子を示している。基準フレームＢＦ６４１には、格子が描かれている。また、移動後の基準フレームＢＦ６４１’を、説明の理解容易のため、シングルハッチングを付して表している。

上記（ｉ）の領域補償方法により作成された補間フレームＣＦ６４０を図３１（ｂ）に示す。画素領域６４５には、移動後の基準フレームＢＦ６４１’の一部が貼り付けられている。また領域補償を要する画素領域６４６には、移動前の基準フレームＢＦ６４１の同じ位置の画素が貼り付けられている。

上記（ｉｉ）の領域補償方法により作成された補間フレームＣＦ６４０を図３１（ｃ）に示す。画素領域６４５には、移動後の基準フレームＢＦ６４１’の一部が貼り付けられている。また領域補償を要する画素領域６４６には、移動後の基準フレームＢＦ６４１’の端の画素データが繰り返されている。

上記（ｉｉｉ）の領域補償方法により作成された補間フレームＣＦ６４０を図３１（ｄ）に示す。画素領域６４７には、移動後の基準フレームＢＦ６４１’の一部が貼り付けられている。さらに、移動後の基準フレームＢＦ６４１’の一部である画素領域６４８を用いて画素領域６４６が領域補償されている。例えば、移動後の基準フレームＢＦ６４１’の一部である画素領域６４８を画素領域６４６まで引き延ばして領域補償を行っている。この領域補償に用いられる画素領域６４８の大きさ（図３１（ｄ）のクロスハッチングを付した領域）は、自由に設定可能であり、大きいほど（画素領域６４７が小さいほど）滑らかな領域補償が可能であるが、画像全体の歪みは大きくなる。

図３２を用いて、図３１（ｄ）に示した補間フレームＣＦ６４０上の線分ＯＰにおける画素の領域補償状況を説明する。補間用動きベクトルＣＭＶ６４２のＯＰ方向成分をｘ１とする。また、領域補償に用いられる画素領域６４８のＯＰ方向の大きさをｘ２とする。このとき、基準フレームＢＦ６４１上の大きさｘ２の画素領域６５０を大きさ（ｘ１＋ｘ２）の画素領域６４６，６４８に引き延ばすように領域補償が行われる。画素領域６４７については、画素領域６５１をＯＰ方向にｘ１だけ移動した画素により領域補償が行われる。

（２）補間フレーム作成方法
図３３に、補間フレーム作成装置６２１における補間フレーム作成方法を説明するフローチャートを示す。それぞれのステップの詳細な内容は、「（１）補間フレーム作成装置６２１」で説明したのと同様であるので、詳しい説明は省略する。

画像信号情報取得部６２７は、画像信号情報２１３を取得する（ステップＳ６２１）。ベクトル変換部６２９は、画像信号情報２１３から、１つの補間用ベクトルを導出する（ステップＳ６２２）。導出は、「（１−１）ベクトル変換部６２９の動作」で説明した様に行われる。補間フレーム作成部６２４は、１つの補間用ベクトルから、補間用動きベクトルを導出し（ステップＳ６２３）、導出された補間用動きベクトルとフレームメモリ６２２が記憶する画像フレームとから補間フレームを作成する（ステップＳ６２４）。ここで、補間フレームは、「（１−２）補間フレーム作成部６２４の動作」で説明した様に行われる。

（３）第５実施形態の効果
第５実施形態に記載の本発明では、補間フレーム作成装置６２１は、１つの補間用動きベクトルＣＭＶ６４２により基準フレームＢＦ６４１を平行移動することにより、補間フレームＣＦ６４０を作成する。基準フレームＢＦ６４１を構成する画像ブロック毎に補間用動きベクトルを導出する必要がなく、処理量が低減する。さらに、基準フレームＢＦ６４１を１つの補間用動きベクトルＣＭＶ６４２により移動するため、補間フレームＣＦ６４０における画像の歪みが低減される。また、基準フレームＢＦ６４１を１つの補間用動きベクトルＣＭＶ６４２により移動して補間フレームＣＦ６４０の作成するため、基準フレームＢＦ６４１を構成する画像ブロック毎の補間用動きベクトルによりそれぞれの画像ブロックを移動する必要がなく、補間フレーム作成の処理量が低減する。

また、例えば、ビデオカメラで撮影された画像など、手ぶれのある画像として記録された画像に対して、画像全体の動きを捉えて補間フレームが作成される。このため、画像の印象が滑らかになり、手ぶれによる画像の見にくさが軽減される。

（４）第５実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（４−１）
基準フレームＢＦ６４１が画面内符号化されたフレームである場合には、基準フレームＢＦ６４１に対して時間的に前方あるいは後方に位置する画像フレームについて導出された１つの補間用動きベクトルを利用して補間フレームを作成する。

具体的には、（ｉ）時間的に前方あるいは後方に位置する画像フレームについて導出された１つの補間用動きベクトルを基準フレームＢＦ６４１についての補間用動きベクトルとする、（ｉｉ）時間的に前方あるいは後方に位置する画像フレームについて導出された１つの補間用動きベクトルを比較し、差違が大きければ基準フレームＢＦ６４１または時間的に前方あるいは後方に位置する画像フレームを補間フレームＣＦ６４０とする（スチル）、あるいは補間フレームＣＦ６４０を作成しない。ここで、１つの補間用動きベクトルの差違が大きいとは、例えば、それぞれの１つの補間用動きベクトルの距離が大きいことなどを意味する。

（４−２）
上記実施形態において、１つの補間用ベクトルは、画像ブロック毎に検出された動きベクトルを用いて導出されても良い。具体的には、図１に示す補間フレーム作成装置１０１において、動きベクトル検出部１０３が検出した動きベクトルに基づいて、補間フレーム作成部１０４が１つの補間用ベクトルを導出しても良い。ここで、導出は、上記（１−１）で述べた方法により行われる。さらに、補間フレーム作成部１０４は、１つの補間用ベクトルから１つの補間用動きベクトルを導出し、上記（１−２）で説明した方法を用いて、補間フレームを作成する。

［第６実施形態］
補間フレーム作成に際して、補間フレームを作成する基準となる基準フレームが補間フレーム作成に適しているか否かを判定し、判定結果に基づいて、補間フレームの作成の方式を切り換えても良い。

本発明の第６実施形態について、図３４〜図３５を用いて説明する。
（１）補間フレーム作成装置６５１
図３４に、この機能を実現する補間フレーム作成装置６５１を示す。補間フレーム作成装置６５１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において備えられている。補間フレーム作成装置６５１は、動き補償符号化された符号化画像信号２１０を復号化装置２１５により復号化して得られた復号化画像信号２１２を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。

補間フレーム作成装置６５１と図２１に示した補間フレーム作成装置６０１とは、構成上共通する点も多いため、以下、主に相違点について説明する。

補間フレーム作成装置６５１は、フレームメモリ６５２と、ベクトル導出部６５３と、補間フレーム作成部６５４と、信号切換部６５５と、制御部６５６とから構成される。ベクトル導出部６５３は、画像信号情報取得部６５７と、画像判定部６６２と、ベクトル変換部６５９とを有している。画像信号情報取得部６５７は、復号化装置２１５から画像信号情報２１３を取得する。画像判定部６６２は、画像信号情報２１３に基づいて、基準フレームが補間フレーム作成に適しているか否かを判定する。ベクトル変換部６５９は、画像信号情報取得部６５７と、画像判定部６６２とから情報を取得する。

補間フレーム作成装置６５１と図２１に示した補間フレーム作成装置６０１との相違点である画像判定部６６２、ベクトル変換部６５９および補間フレーム作成部６５４の動作について以下説明を行う。

（１−１）ベクトル変換部６５９の動作
ベクトル変換部６５９は、画像信号情報取得部６５７から情報を取得する。ベクトル変換部６５９は、上記［第３実施形態］で図２１を用いて説明したベクトル変換部６０９と同様の動作を行う。

具体的には、ベクトル変換部６５９は、画像信号情報取得部６５７が取得した画像信号情報２１３に基づいて、基準フレームを構成する画像ブロックのうち特定画像ブロックを選択する。ここで、特定画像ブロックとは、上記［第３実施形態］で説明したものと同様であるため説明は省略する。さらに、特定画像ブロックの動き補償ベクトルを、特定画像ブロック以外の画像ブロック（以下、一般画像ブロックという）により補正処理する。

また、ベクトル変換部６５９は、得られた補正動き補償ベクトルについて、上記［第５実施形態］で図２９を用いて説明したベクトル変換部６２９と同様の動作を行う。

具体的には、特定画像ブロックについて得られた補正動き補償ベクトルと、一般画像ブロックについて得られた動き補償ベクトルとの平均値を計算し、１つの補間用ベクトルを導出する。

さらに、ベクトル変換部６５９は、得られた補正動き補償ベクトルについて、上記［第２実施形態］（４−４）で説明した平滑化フィルタによる平滑化を行う。

具体的には、特定画像ブロックについて得られた補正動き補償ベクトルと、一般画像ブロックについて得られた動き補償ベクトルとに対して、図１３（ｂ）に示した平滑化フィルタを適用する。以下、平滑化処理された、特定画像ブロックの補正動き補償ベクトルと一般画像ブロックの動き補償ベクトルとを平滑化ベクトルという。

（１−２）画像判定部６６２の動作
画像判定部６６２は、画像信号情報２１３、平滑化ベクトル、１つの補間用ベクトルに基づいて、基準フレームが補間フレーム作成に適しているか否かを判定する。

具体的には、まず、ベクトル変換部６５９が導出した平滑化ベクトルが補間フレーム作成に適しているか否かを判定する。判定結果が否定的である場合には、画像判定部６６２は、ベクトル変換部６５９が導出した１つの補間用ベクトルが補間フレーム作成に適しているか否かを判定する。

平滑化ベクトルが補間フレーム作成に適しているか否かの判定は、次の様に行われる。（ｉ）平滑化ベクトルの分散が大きい場合、（ｉｉ）基準フレームを構成する画像ブロック全体に占める特定画像ブロックの割合が高い場合、（ｉｉｉ）基準フレームを構成する画像ブロック全体に占めるＤＣＴ係数の和がある閾値を超えている画像ブロックの割合が高い場合、（ｉｖ）平滑化ベクトルの方向が一定数以上変化する場合などに、平滑化ベクトルに基づいて補間フレームを作成することが難しいと判断される。

（ｉ）についてより具体的に説明する。フレーム全体でのベクトルの分散が大きい場合、基準フレームと参照フレームとの間に複雑な動きが含まれると判断され、補間フレームを作成することが難しいと判断される。（ｉｉ）についてより具体的に説明する。（ｉｉ）では、画面内符号化された画像ブロックの割合と、相関の低い動き補償ベクトルを有すると判断された画像ブロックの割合とを調べる。画面内符号化された画像ブロックの割合が高い場合、基準フレームと参照フレームとの相関性が低いと判断され、補間フレームを作成することが難しいと判断される。また、相関性の低い動き補償ベクトルを有すると判断された画像ブロックの割合が高い場合、基準フレームと参照フレームとの間に複雑な動きが含まれると判断され、補間フレームを作成することが難しいと判断される。（ｉｖ）についてより具体的に説明する。（ｉｖ）では、２次元のベクトルとして表現される画像ブロック毎の平滑化ベクトルを基準フレーム内において水平、垂直、ジグザグなどの走査方法で順次サンプリングする。サンプリングされた一連の平滑化ベクトルについて、ベクトルの位置する象限が変化した回数がある回数を超える場合、補間フレームを作成することが難しいと判断される。

なお、これら（ｉ）〜（ｉｖ）の判定は、それぞれ単独で用いられても良いし、組み合わせて用いられても良い。

１つの補間用ベクトルが補間フレーム作成に適しているか否かの判定は、次のように行われる。（ｖ）基準フレーム内の各ベクトルと１つの補間用ベクトルとの距離が大きい画像ブロックの割合が高い場合、（ｖｉ）代表ベクトルと、１つの補間用ベクトルとの距離が大きい分割領域の割合が高い場合に、１つの補間用ベクトルに基づいて補間フレームを作成することが難しいと判断される。ここで、分割領域とは、基準フレームをある数に分割した領域である。代表ベクトルとは、分割領域の動きを代表するベクトルである。

（ｖｉ）についてより具体的に説明する。（ｖｉ）では、基準フレーム内を分割領域に区切る。分割領域は、例えば、画面内を４分割にした領域である。次に各分割領域の代表ベクトルを導出する。導出方法としては、例えば各領域の一般画像ブロックの動き補償ベクトルの平均値とする。１つの補間用ベクトルと各代表ベクトルの違いが大きい場合、補間フレームを作成することが難しいと判断される。

（１−３）補間フレーム作成部６５４の動作
補間フレーム作成部６５４は、画像判定部６６２の判定結果に基づいて、補間フレームの作成の方式を切り換える。

平滑化ベクトルが補間フレーム作成に適していると判定された場合、補間フレーム作成部６５４は、上記［第３実施形態］で図２１を用いて説明した補間フレーム作成部６０４と同様の動作を行い、補間フレームを作成する。すなわち、平滑化ベクトルを用いて、基準フレームを構成する画像ブロックについて補間用動きベクトルを導出し、補間フレームを作成する。

平滑化ベクトルが補間フレーム作成に適していないと判定された場合であって、１つの補間用ベクトルが補間フレーム作成に適していると判定された場合、補間フレーム作成部６５４は、上記［第５実施形態］で図２９を用いて説明した補間フレーム作成部６２４と同様の動作を行い、補間フレームを作成する。すなわち、１つの補間用ベクトルを用いて、基準フレームに対する１つの補間用動きベクトルを導出し、補間フレームを作成する。

１つの補間用ベクトルが補間フレーム作成に適していないと判定された場合、補間フレーム作成部６５４は、平滑化ベクトルおよび１つの補間用ベクトルを用いずに補間フレームを作成する。例えば、補間フレームに対して時間的に前方あるいは後方に位置する画像フレームのいずれかを補間フレームとする。

（２）補間フレーム作成方法
図３５に、補間フレーム作成装置６５１における補間フレーム作成方法を説明するフローチャートを示す。それぞれのステップの詳細な内容は、「（１）補間フレーム作成装置６５１」で説明したのと同様であるので、詳しい説明は省略する。

画像信号情報取得部６５７は、画像信号情報２１３を取得する（ステップＳ６７１）。
ベクトル変換部６５９は、画像ブロックについて、特定画像ブロックであるか否かの判断を行う（ステップＳ６７２）。ベクトル変換部６５９は、特定画像ブロックの動き補償ベクトルを補正処理し、補正動き補償ベクトルを導出する。（ステップＳ６７３）。全ての画像ブロックについて特定画像ブロックであるか否かの判断を行った後（ステップＳ６７４）、ベクトル変換部６５９は、一般画像ブロックの動き補償ベクトルと特定画像ブロックの補正処理された補正動き補償ベクトルとから１つの補間用ベクトルを導出する（ステップＳ６７５）。さらに、ベクトル変換部６５９は、一般画像ブロックの動き補償ベクトルと特定画像ブロックの補正処理された補正動き補償ベクトルとを平滑化処理し、平滑化ベクトルを導出する（ステップＳ６７６）。

画像判定部６６２は、ベクトル変換部６５９が導出した平滑化ベクトルが補間フレーム作成に適しているか否かを判定する（ステップＳ６７７）。平滑化ベクトルが補間フレーム作成に適していると判定された場合、補間フレーム作成部６５４は、平滑化ベクトルを用いて、基準フレームを構成する画像ブロックについて補間用動きベクトルを導出し（ステップＳ６７８）、補間フレームを作成する（ステップＳ６７９）。

平滑化ベクトルが補間フレーム作成に適していないと判定された場合、画像判定部６６２は、ベクトル変換部６５９が導出した１つの補間用ベクトルが補間フレーム作成に適しているか否かを判定する（ステップＳ６８０）。１つの補間用ベクトルが補間フレーム作成に適していると判定された場合、補間フレーム作成部６５４は、１つの補間用ベクトルを用いて、基準フレームに対する１つの補間用動きベクトルを導出し（ステップＳ６８１）、補間フレームを作成する（ステップＳ６８２）。

１つの補間用ベクトルが補間フレーム作成に適していないと判定された場合、補間フレーム作成部６５４は、平滑化ベクトルおよび１つの補間用ベクトルを用いずに補間フレームを作成する（ステップＳ６８３）。例えば、補間フレームに対して時間的に前方あるいは後方に位置する画像フレームのいずれかを補間フレームとする。

（３）第６実施形態の効果
第６実施形態に記載の本発明では、補間フレーム作成装置６５１は、補間フレームを作成する基準となる基準フレームが補間フレームの作成に適しているか否かを判定し、判定の結果に基づいて、補間フレームの作成の方式を切り換える。このため、基準フレームの特性に適した方式で補間フレームを作成することが可能となり、補間フレームの画質を向上させることが可能となる。

（４）第６実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（４−１）
上記（１−３）では、平滑化ベクトルおよび１つの補間用ベクトルが補間フレーム作成に適していないと判定された場合、補間フレーム作成部６５４は、平滑化ベクトルおよび１つの補間用ベクトルを用いずに補間フレームを作成する。

ここで、補間フレームに対して時間的に前方あるいは後方に位置する画像フレームのいずれかを補間フレームとするが、どちらの画像フレームを補間フレームとするかについては、あらかじめ決めておいても良い。

また、時間的に前方あるいは後方に位置する画像フレームの差違、例えば、画像フレーム間の輝度差などを判断して補間フレームとする画像フレームを選択しても良い。例えば、差違が大きい場合には、時間的に後方に位置する画像フレームを補間フレームとし、差違が小さい場合には、時間的に前方に位置する画像フレームを補間フレームとしてもよい。画像フレーム間の変化量が大きい場合には、変化後の画像を補間フレームとして表示することで、視覚的印象を向上させることが可能となる。

また、補間フレームに対して時間的に近くに位置する画像フレームを補間フレームとしてもよい。

また、補間フレームに対して時間的に前方と後方とに位置する画像フレームを重ねた画像を補間フレームとしてもよい。

また、補間フレーム作成部６５４は、画像判定部６６２により基準フレームが補間フレームの作成に適していないと判定される場合には、補間フレームを作成しないものであっても良い。補間フレーム作成装置６５１に接続され、出力画像信号６６１を表示する表示装置によっては、補間フレームの作成がない場合には、表示装置に備える表示メモリが記憶する画像フレームを表示し続けることが可能であるからである。この場合には、補間フレーム作成のための処理量を低減させることも可能となる。

（４−２）
上記（１−１）において、ベクトル変換部６５９は、平滑化処理を行わず、画像判定部６６２は、特定画像ブロックの補正動き補償ベクトルと一般画像ブロックの動き補償ベクトルとに基づいて、基準フレームが補間フレーム作成に適しているか否かを判定しても良い。

ここで、判定は、上記（１−２）で説明した（ｉ）〜（ｉｖ）の方法を、特定画像ブロックの補正動き補償ベクトルと一般画像ブロックの動き補償ベクトルとに適用して行われる。なお、補間フレームの作成に適していると判断される場合には、平滑化処理を行っても良い。

（４−３）
基準フレームを構成する画像ブロックについて検出された動きベクトルを用いて補間フレームを作成する場合にも、基準フレームが補間フレームの作成に適しているか否かの判定を行うことが可能である。

具体的には、図１に示す補間フレーム作成装置１０１において、動きベクトル検出部１０３は、基準フレームの画像ブロックと参照フレームの画素領域との絶対差分和（ＳＡＤ）を計算し、画像ブロックの動きベクトルを検出する。ここで、動きベクトル検出部１０３は、（ｉ）基準フレームを構成する画像ブロックの動きベクトルの分散が大きい場合、（ｉｉ）基準フレームを構成する画像ブロック全体に占めるＳＡＤの値がある閾値を超えている画像ブロックの割合が高い場合などに、基準フレームが補間フレームの作成に適していないと判定する。

補間フレーム作成部１０４は、基準フレームが補間フレームの作成に適していない場合には、検出された動きベクトルから１つの補間用ベクトルを導出する。ここで、導出は、上記［第５実施形態］（１−１）で説明した（ｉ）〜（ｖ）の補間用ベクトルの導出方法により行われる。

さらに、補間フレーム作成部１０４は、１つの補間用ベクトルから１つの補間用動きベクトルを導出し、上記［第５実施形態］（１−２）で説明した方法を用いて、補間フレームを作成する。

また、補間フレーム作成部１０４は、基準フレームが補間フレームの作成に適していない場合には、（ｉ）補間フレームに対して時間的に前方あるいは後方に位置する画像フレームを重ねた画像を補間フレームとする、（ｉｉ）補間フレームに対して時間的に前方あるいは後方に位置する画像フレームのいずれかを補間フレームとする、などして補間フレームを作成する。ここで、（ｉｉ）においては、時間的に前方あるいは後方に位置する画像フレームの一方をあらかじめ決めておいても良い。一方、基準フレームが補間フレームの作成に適していない場合には、補間フレームの作成を行わないとしても良い。

（４−４）
上記（１−１）において、ベクトル変換部６５９が１つの補間用ベクトルを導出せずに、画像判定部６６２は、平滑化ベクトル、もしくは特定画像ブロックの補正動き補償ベクトルと一般画像ブロックの動き補償ベクトルとが補間フレームの作成に適しているか否かのを判定しても良い。補間フレームの作成に適していないと判定される場合には、ベクトル変換部６５９は、１つの補間用ベクトルを導出する。さらに、画像判定部６６２は、上記（１−２）で説明した（ｖ）〜（ｖｉ）の方法を用いて、１つの補間用ベクトルが補間フレーム作成に適しているか否かの判定をする。この場合、１つの補間用ベクトルの導出のための処理量を低減する効果がある。

［第７実施形態］
本実施形態では、補間フレームの作成に際して、補間フレームを作成する基準となる基準フレームの外枠領域であって、補間フレームの作成に適さない領域（以下、補間不適領域という）を検出する。さらに、検出された補間不適領域に対して、補間不適領域以外の領域（以下、補間好適領域という）とは異なる特別の領域補償処理を行い、補間フレームを作成する。

一般的に、基準フレームを構成する画像ブロックの動きベクトルを検出し、補間フレームを作成する場合、補間フレームの外枠領域に歪みが生じることがある。これは、基準フレームの外枠領域では、動きベクトルを検出しても、その動きベクトルが実際の画像ブロックの動きを反映しているとは限らないからである。

例えば、基準フレームがレターボックスあるいはサイドパネルといった方式でアスペクト比を変換されている場合がある。レターボックスとは、１６対９のアスペクト比の画像の上下に帯状領域を設け、４対３のアスペクト比の画像に変換する方式である。サイドパネルとは、４対３のアスペクト比の画像の左右に帯状領域を設け、１６対９のアスペクト比の画像に変換する方式である。

この帯状領域が設けられた基準フレームを構成する画像ブロックの動きベクトルを検出する場合、帯状領域と帯状領域以外の領域（以下、主画領域という）との境界を含む画像ブロックに対して正確に動きベクトルを検出することは難しい。これは、境界を含む画像ブロックが、静止している帯状領域と動作している主画領域とを含んでいるためである。そのため、検出された動きベクトルを用いて補間フレームを作成した場合、帯状領域と主画領域との境界において、画像に歪みなどを生じることがある。

上記した実施形態では、検出された動きベクトルが実際の画像ブロックの動きを正確に反映していないと判断される場合、この画像ブロックの動きベクトルを補正処理した補正動きベクトルを用いて補間フレームを作成すると説明した（例えば、第１実施形態（４−１２）参照）。これにより、上記画像の歪みを改善することが可能である。

一方、本実施形態では、帯状領域を補間不適領域として検出し、この補間不適領域に対して、特別の領域補償処理を行う。これにより、さらに高画質な補間フレームを作成することが可能となる。

本発明の第７実施形態について、図３６〜図４７を用いて説明する。
（１）補間フレーム作成装置７０１
図３６に、本発明の第７実施形態としての補間フレーム作成装置７０１を示す。補間フレーム作成装置７０１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において、画像信号を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。

補間フレーム作成装置７０１は、フレームメモリ７０２と、補間不適領域検出部７０３と、動きベクトル検出部７０４と、補間フレーム作成部７０５と、信号切換部７０６と、制御部７０７とから構成される。

フレームメモリ７０２は、入力画像信号７１０を画像フレーム毎に記憶する。
補間不適領域検出部７０３は、フレームメモリ７０２に記憶された画像フレームの外枠領域であって、補間フレームの作成に適していない補間不適領域を検出する。補間不適領域検出部７０３の動作については、後ほど具体的に説明する。

動きベクトル検出部７０４は、フレームメモリ７０２に記憶された複数の画像フレームに基づいて、補間不適領域検出部７０３が検出した補間不適領域を含まない画像ブロック画像ブロックの動きベクトルを検出する。動きベクトル検出部７０４の動作については、後ほど具体的に説明する。

補間フレーム作成部７０５は、画像フレームと、検出された動きベクトルとから、補間フレームを作成する。補間フレーム作成部７０５の動作については、後ほど具体的に説明する。

信号切換部７０６は、フレームメモリ７０２の記憶する画像フレームと補間フレーム作成部７０５が作成する補間フレームとを切り換えて、出力画像信号７１１とする。制御部７０７は、補間不適領域検出部７０３と動きベクトル検出部７０４と補間フレーム作成部７０５と信号切換部７０６との動作に必要な制御信号を与える。

（１−１）補間不適領域検出部７０３の動作
補間不適領域検出部７０３は、フレームメモリ７０２に記憶された画像フレームにおいて、補間不適領域を検出する。具体的には、補間フレームを作成する基準となる基準フレームの外枠領域の画素値を取得し、画素値がほぼ一定である水平および垂直方向のライン数を検出する。ここで、画素値がほぼ一定であるラインとは、例えば、画素毎の輝度値がある値の範囲内に含まれているラインを意味している。

図３７に、レターボックスでアスペクト比を変換された基準フレームＢＦ７１５において検出された補間不適領域７１６と補間好適領域７１７とを示す。基準フレームＢＦ７１５の上下に位置する帯状領域が補間不適領域７１６として検出され、主画領域が補間好適領域７１７として検出される。

以下、基準フレームＢＦ７１５から補間フレームを作成する場合について説明する。
（１−２）動きベクトル検出部７０４の動作
動きベクトル検出部７０４は、基準フレームＢＦ７１５を構成する画像ブロックについて動きベクトルを検出する。ここで、動きベクトルを検出する対象となる画像ブロックは、基準フレームＢＦ７１５を構成する、８×８あるいは１６×１６などの画素数から構成される画像ブロックのうち、補間不適領域７１６を一定以上含む画像ブロック以外の画像ブロックである。ここで、一定以上と記載したが、その割合は、任意に設定可能である。本実施形態においては、補間不適領域７１６を少しでも含む画像ブロックについては、動きベクトルを検出する対象となる画像ブロックから除外することとする。

図３８を用いて、これについて説明を加える。図３８は、基準フレームＢＦ７１５において、補間不適領域７１６と補間好適領域７１７との境界部分を拡大した拡大図である。ここで、画像ブロック群７２１は、補間不適領域７１６と補間好適領域７１７との境界を有している。画像ブロック群７２０は、補間不適領域７１６のみを含む。画像ブロック群７２２は、補間好適領域７１７のみを含む。

動きベクトル検出部７０４は、補間不適領域７１６を少しでも含む画像ブロックについて動きベクトルの検出を行わず、画像ブロック群７２０および画像ブロック群７２１についての動きベクトルの値を［０］とみなす。

さらに、動きベクトル検出部７０４は、画像ブロック群７２０および画像ブロック群７２１以外の画像ブロックである画像ブロック群７２２について、動きベクトルを検出する。

動きベクトルの検出は、動きベクトルの検出の対象となる画像フレームである参照フレームの画素領域と、画像ブロック群７２２のそれぞれの画像ブロックとをマッチングすることにより行われる。

（１−３）補間フレーム作成部７０５の動作
図３９を用いて、補間フレーム作成部７０５の動作について説明する。補間フレーム作成部７０５は、動きベクトル検出部７０４から取得した基準フレームＢＦ７１５を構成する画像ブロックの動きベクトルに基づいて、補間フレームＣＦ７２６を作成する。

画像ブロック群７２０および画像ブロック群７２１については、動きベクトルが値［０］とみなされている。そこで補間フレーム作成部７０５は、画像ブロック群７２０および画像ブロック群７２１は静止している領域とし、補間フレームＣＦ７２６における、画像ブロック群７２０および画像ブロック群７２１と同じ位置の補間画素領域７３３を作成する。すなわち、補間不適領域７１６を含む画像ブロック群７２０および画像ブロック群７２１が補間フレームＣＦ７２６の補間画素領域７３３に貼り付けられることとなる。

画像ブロック群７２２のそれぞれの画像ブロックについては、参照フレームＲＦ７２８の画素領域とのマッチングが行われ、動きベクトルＭＶ７３０が取得される。補間フレーム作成部７０５は、基準フレームＢＦ７１５と参照フレームＲＦ７２８との時間的距離に対する基準フレームＢＦ７１５と補間フレームＣＦ７２６との時間的距離の割合で動きベクトルＭＶ７３０を内分して補間用動きベクトルＣＭＶ７３１を導出する。さらに補間フレーム作成部７０５は、画像ブロック群７２２のそれぞれの画像ブロックを補間用動きベクトルＣＭＶ７３１で変位させ、補間フレームＣＦ７２６における、画像ブロック群７２２と同じ位置の補間画素領域７３５を作成する。

（２）補間フレーム作成方法
図４０に、補間フレーム作成装置７０１における補間フレーム作成方法を説明するフローチャートを示す。それぞれのステップの詳細な内容は、上記（１）で説明したのと同様であるので、詳しい説明は省略する。

補間不適領域検出部７０３は、フレームメモリ７０２に記憶された画像フレームにおいて、補間不適領域を検出する（ステップＳ７４１）。

動きベクトル検出部７０４は、基準フレームＢＦ７１５を構成する画像ブロックについて補間不適領域７１６を含むか否かを判断し（ステップＳ７４２）、補間不適領域を含む場合、画像ブロックの動きベクトルの値を［０］とみなす（ステップＳ７４３）。補間不適領域７１６を含まない場合、画像ブロックの動きベクトルを検出する（ステップＳ７４４）。

全ての画像ブロックについて動きベクトル検出後（ステップＳ７４５）、補間フレーム作成部７０５は、動きベクトルから補間用動きベクトルを導出する（ステップＳ７４６）。ここで、補間不適領域を含む画像ブロックの補間用動きベクトルの値は、［０］とされる。また、補間不適領域を含まない画像ブロックの補間用動きベクトルは、基準フレームＢＦ７１５と参照フレームＲＦ７２８との時間的距離に対する基準フレームＢＦ７１５と補間フレームＣＦ７２６との時間的距離の割合で動きベクトルを内分して導出される。導出された補間用動きベクトルを用いて、基準フレームＢＦ７１５を構成する画像ブロックを変位させ、補間フレームＣＦ７２６が作成される（ステップＳ７４７）。

（３）第７実施形態の効果
第７実施形態に記載の本発明では、補間フレーム作成装置７０１は、補間不適領域７１６を検出し、補間不適領域７１６を含む画像ブロックに対して特別の領域補償処理を行い、補間フレームＣＦ７２６を作成する。このため、補間フレームＣＦ７２６では、補間フレームＣＦ７２６の外枠領域における画像の歪み、特に、補間フレームＣＦ７２６における、補間不適領域７１６と同じ位置の補間画素領域と補間好適領域７１７と同じ位置の補間画素領域との境界に発生しやすい歪み、を防ぐことができ、補間フレームＣＦ７２６の画質が向上する。

さらに、補間フレーム作成装置７０１では、補間不適領域７１６を含む画像ブロックについては、動きベクトルの検出処理を必要としない。このため、補間フレームＣＦ７２６の作成の処理量を低減することが可能となる。

また、補間不適領域７１６を含む画像ブロックに対する処理と補間不適領域７１６を含まない画像ブロックに対する処理とでは、動きベクトルの検出以外の処理が共通している。このため、補間フレームＣＦ７２６を作成する補間フレーム作成装置７０１のハード構成および補間フレーム作成方法を実行するプログラム構成が簡素化される。

なお、上記実施形態では、レターボックスでアスペクト比を変換された基準フレームＢＦ７１５により補間フレームＣＦ７２６を作成する場合について説明したが、基準フレームＢＦ７１５がサイドパネルでアスペクト比を変換されている場合についても、同様に本発明を適用できる。

（４）第７実施形態の変形例
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。

（４−１）補間不適領域検出部７０３の変形例
（４−１−１）
補間不適領域検出部７０３は、フレームメモリ７０２に記憶された画像フレームの画像サイズに応じて、画像フレームの外枠領域において所定の補間不適領域を設定するものであっても良い。

補間フレーム作成装置７０１を備えるテレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において、出力画像信号７１１がオーバースキャン表示される場合、出力画像信号７１１を構成する画像フレームおよび補間フレームの外枠領域については表示されない。そこで、補間フレーム作成に際して、補間フレームの外枠領域であって表示されない領域、いわゆるセーフティゾーン以外の領域、を補間不適領域とし、補間フレームを形成する補間画素を作成しない。

これにより、補間フレーム作成装置７０１では、補間不適領域の検出のための処理量を低減することが可能となる。

なお、セーフティゾーンとしては、例えば、画像フレーム全体の８０パーセント〜９０パーセントといった値が設定される。

（４−１−２）
補間不適領域検出部７０３は、補間フレーム作成装置７０１の外部から補間不適領域を示す情報（以下、補間不適領域情報）を取得し、補間不適領域を決定するものであってもよい。

図４１に、第７実施形態の変形例としての補間フレーム作成装置７５１を示す。図４１において、補間フレーム作成装置７０１（図３６参照）と同様の動作をする部分については、同じ符号を付して示している。補間フレーム作成装置７５１は、補間フレーム作成装置７０１に対して、補間不適領域取得部７５３を有する点において異なっている。以下、補間不適領域取得部７５３の動作について説明する。

〈１〉補間不適領域取得部７５３の動作
補間不適領域取得部７５３は、補間フレーム作成装置７０１の外部から補間不適領域情報７５５を取得する。

補間不適領域情報７５５は、例えば、（ｉ）補間フレームにより補間された出力画像信号７１１を表示する表示装置（図示せず）から取得される、表示装置の表示サイズおよび表示装置の備えるフレームメモリ（図示せず）のメモリサイズ、（ｉｉ）表示装置が出力画像信号７１１を表示できる領域（セーフティゾーン）についての情報、あるいは、（ｉｉｉ）その他補間不適領域を示す情報、などである。

図４２を用いて、（ｉ）の補間不適領域情報７５５が取得された場合の補間不適領域取得部７５３の動作について説明する。（ｉ）の補間不適領域情報７５５が取得されると、補間不適領域取得部７５３は、メモリサイズに基づいて、補間フレームを作成するため基準となる基準フレームＢＦ７５６の画像サイズを推定する。通常、メモリサイズは、出力画像信号７１１を構成する画像フレームおよび補間フレームの画像サイズに対応したサイズであることが多く、基準フレームの画像サイズを推定することが可能である。

さらに、推定された画像サイズと、取得された表示サイズとの差分７５８および差分７６０を計算する。補間不適領域取得部７５３は、この差分７５８および差分７６０を補間不適領域として動きベクトル検出部７０４に通知する。

なお、表示装置の表示サイズは、表示装置を動作させるドライバプログラムあるいは表示装置の表示画面内にウインドウを用いて出力画像信号７１１を表示させるアプリケーションプログラムなどから取得可能である。

（ｉｉ）の補間不適領域情報７５５は、例えば、表示装置から取得される。補間不適領域取得部７５３は、表示装置から取得されたオーバースキャンされる水平および垂直のライン数を補間不適領域として動きベクトル検出部７０４に通知する。

なお、表示装置から取得される補間不適領域情報７５５は、オーバースキャンされる水平および垂直のライン数だけに限らず、画像フレーム全体に対するセーフティゾーンの割合などとして通知されても良い。補間不適領域取得部７５３は、通知されたセーフティゾーンの割合から、補間不適領域を導出し、動きベクトル検出部７０４に通知する。

（ｉｉｉ）の補間不適領域情報７５５は、例えば、符号化画像信号を復号化する復号化装置（図示せず）などから取得される。符号化画像信号が補間不適領域を示す情報を含む場合、復号化された補間不適領域を示す情報が補間不適領域情報７５５として補間不適領域取得部７５３により取得される。

〈２〉補間不適領域取得部７５３の効果
これら（ｉ）〜（ｉｉｉ）の補間不適領域情報７５５により、一般的に、基準フレームの外枠領域に位置する領域であって、補間フレームの作成に適していないと考えられる補間不適領域を取得することが可能となる。

この補間不適領域について、補間フレーム作成部７０５は、上記「（１−３）補間フレーム作成部７０５の動作」において説明したのと同様にして補間フレームを作成する。これにより、補間フレームの外枠領域における視覚的効果が向上する。

また、表示装置において表示されない領域についての処理を低減することが可能となり、同様の視覚的効果を得つつ、補間フレーム作成の処理量を低減することが可能となる。

なお、補間不適領域取得部７５３は、フレームメモリ７０２からフレームメモリ７０２に記憶された画像フレームを取得しても良い。この場合、上記「（１−１）補間不適領域検出部７０３の動作」において説明した補間不適領域検出部７０３と同様の動作を行うことが可能であっても良い。

（４−２）動きベクトル検出部７０４の変形例
（４−２−１）
上記「（１−２）動きベクトル検出部７０４の動作」では、補間フレームＣＦ７２６を作成する基準となる基準フレームＢＦ７１５の補間不適領域７１６を少しでも含む画像ブロック群７２０および画像ブロック群７２１について動きベクトルの検出を行わないと説明した（図３７〜図３９参照）。

ここで、動きベクトル検出部７０４は、補間好適領域７１７を新たに画像ブロックに分割し、参照フレームＲＦ７２８に対する動きベクトルを検出しても良い。

これにより、補間好適領域７１７の全領域について、動きベクトルを用いて補間フレームを作成することが可能となる。

図４３を用いて、変形例としての動きベクトル検出部７０４の動作について説明する。図４３は、補間フレームを作成する基準となる基準フレームＢＦ７６５の外枠領域を拡大した拡大図である。

基準フレームＢＦ７６５について、補間不適領域検出部７０３（図３６参照）あるいは補間不適領域取得部７５３（図４１参照）により、補間不適領域７６６（図４３の斜線で表す領域）と補間好適領域７６７とが得られている。

図４３（ａ）は、基準フレームＢＦ７６５の全領域について均等に画像ブロックで分割した状態を示している。画像ブロック群７６９は、補間不適領域７６６と補間好適領域７６７との境界を含む画像ブロックである。上記「（１−２）動きベクトル検出部７０４の動作」では、この画像ブロック群７６９については、動きベクトルの検出を行わないと説明した。

一方、図４３（ｂ）は、基準フレームＢＦ７６５の補間好適領域７６７について均等に画像ブロックで分割した状態を示している。変形例としての動きベクトル検出部７０４は、補間好適領域７６７について均等に分割された画像ブロックの動きベクトルを検出する。

補間フレーム作成部は、検出された動きベクトルと基準フレームＢＦ７６５の補間好適領域７６７とを用いて、補間フレームにおける補間好適領域７６７と同じ位置の補間画素領域の領域補償を行う。また、補間フレームにおける補間不適領域７６６と同じ位置の補間画素領域については、例えば、基準フレームＢＦ７６５の補間不適領域７６６をそのまま利用する。この補間フレーム作成部の動作については、補間フレーム作成部７０５の変形例として（４−３）において後ほど説明を行う。

この変形例としての動きベクトル検出部７０４により、補間好適領域７６７について補間不適領域７６６との境界まで正確に補間フレームを作成することが可能となる。

なお、本発明の効果は、補間好適領域７６７を分割する画像ブロックのサイズ、形状などに依存するものではなく、補間好適領域７６７を均等に分割しないものであってもよい。

（４−２−２）
上記「（１−２）動きベクトル検出部７０４の動作」では、動きベクトルの検出は、動きベクトルの検出の対象となる画像フレームである参照フレームの画素領域と、補間フレーム作成の基準となる基準フレームにおいて補間不適領域を含まない画像ブロックとをマッチングすることにより行われる、と説明した。

ここで、マッチングは、基準フレームにおいて補間不適領域を含まない画像ブロックと、参照フレームの補間好適領域を外側に拡張した領域とをマッチングして動きベクトルを検出することが可能であっても良い。

これにより、より正確な動きベクトルの検出が可能となる。
図４４を用いて、変形例としての動きベクトル検出部７０４の動作について説明する。図４４は、補間フレームを作成する基準となる基準フレームＢＦ７７５と動きベクトルの検出の対象となる参照フレームＲＦ７７６とを示している（図４４（ａ）および（ｂ）参照）。

基準フレームＢＦ７７５および参照フレームＲＦ７７６について、補間不適領域７７７および補間不適領域７７８がそれぞれ得られている。基準フレームＢＦ７７５および参照フレームＲＦ７７６は、例えば、サイドパネルでアスペクト比の変換をされた画像フレームである。

基準フレームＢＦ７７５の補間好適領域７７９の画像ブロック７８２について動きベクトルを検出する場合、参照フレームＲＦ７７６の画素領域とのマッチングを行っても、本来検出すべき動きベクトルである、画素領域７８３に対する動きベクトルを検出することは難しい。これは、画素領域７８３は、参照フレームＲＦ７７６の補間好適領域７８０からフレームアウトしつつあるからである。

そこで、参照フレームＲＦ７７６の補間好適領域７８０を外側に拡張した領域である外側参照領域７８１を参照して動きベクトルを検出する。拡張した領域は、補間好適領域７８０の最も外枠に位置する画素を外側にコピーして得られる（図４４（ｃ）参照）。

これにより、画像ブロック７８２と、参照フレームＲＦ７７６の外側参照領域７８１の画素領域７８４とをマッチングさせることが可能となる。

このような動きベクトルの検出を行うことにより、基準フレームＢＦ７７５のパンやチルトなどの動きによりフレームアウトしてしまうような画像ブロックに対しても、より適切な動きベクトルを検出することが可能となる。このため、補間フレームの画質がさらに向上する。

なお、このような動きベクトルの検出は、上記全実施形態中の動きベクトルの検出の際にも適用可能である。

（４−３）補間フレーム作成部７０５の変形例
（４−３−１）
上記「（１−３）補間フレーム作成部７０５の動作」では、補間不適領域７１６を含む画像ブロックを単位として、補間フレームＣＦ７２６における同じ位置の補間画素領域７３３の領域補償処理を行った（図３９参照）。

ここで、補間フレーム作成部７０５は、補間不適領域７１６の画素を単位として、補間フレームＣＦ７２６における同じ位置の補間画素領域の領域補償処理を行っても良い。

図４５を用いて、変形例としての補間フレーム作成部７０５の動作について説明する。変形例としての補間フレーム作成部７０５は、基準フレームＢＦ７８５を基準として補間フレームＣＦ７８６を作成する。

基準フレームＢＦ７８５について、補間不適領域検出部７０３（図３６参照）あるいは補間不適領域取得部７５３（図４１参照）により、補間不適領域７８７と補間好適領域７８８とが得られているとする。

上記（４−２−１）において説明した、変形例としての動きベクトル検出部７０４は、補間好適領域７８８を画像ブロックに分割し、それぞれの画像ブロックについて動きベクトルを検出する。変形例としての補間フレーム作成部７０５は、検出された動きベクトルと補間好適領域７８８とに基づいて、補間好適領域７８８と同じ位置の補間画素領域７９０を作成する。

さらに、変形例としての補間フレーム作成部７０５は、補間不適領域７８７と同じ位置の補間画素領域７８９を以下の２種類の領域補償処理のいずれかにより作成する。

２種類の領域補償処理とは、補間フレームＣＦ７８６の補間画素領域７８９に対して、（ｉ）基準フレームＢＦ７８５の補間不適領域７８７の画素を補間フレームＣＦ７８６の同じ位置にコピーする、（ｉｉ）所定の画素値で補間画素領域７８９を領域補償する、ことである。

ここで、（ｉｉ）の所定画素値とは、例えば、あらかじめ決めた画素値（例えば、黒色を表す画素値など）、補間不適領域７８７を代表する画素値（例えば、補間不適領域７８７の画素値の平均、代表点の画素値など）などである。

これにより、補間フレームＣＦ７８６の外枠領域における画像の歪み、特に補間画素領域７８９と補間画素領域７９０との境界に生じやすい歪み、を防ぐことができ、補間フレームＣＦ７８６の画質が向上する。また、基準フレームＢＦ７８５の補間好適領域７８８に対して動きベクトルを検出すれば良く、補間フレームＣＦ７８６の作成における処理量が低減される。

なお、変形例としての補間フレーム作成部７０５は、補間不適領域７８７の位置を、変形例としての動きベクトル検出部７０４から取得しても良いし、補間不適領域検出部７０３（図３６参照）あるいは補間不適領域取得部７５３（図４１参照）から取得しても良い。

（４−４）その他
補間不適領域の検出は、補間フレームを作成する基準となる全ての基準フレームに対して行う必要はなく、一度検出した補間不適領域を、複数の補間フレームの作成において利用することが可能である。さらに、補間フレームだけでなく、補間フレームにより補間される画像フレームに対しても、他の画像フレームについて検出された補間不適領域を利用して、画像フレームの一部を領域補償することが可能である。

〈１〉補間フレーム作成装置８０１の動作
図４６に、第７実施形態の変形例としての補間フレーム作成装置８０１を示す。補間フレーム作成装置８０１は、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示させる装置において、画像信号を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。

補間フレーム作成装置８０１は、フレームメモリ８０２と、補間不適領域検出部８０３と、動きベクトル検出部８０４と、補間フレーム作成部８０５と、外枠領域補償部８０６と、信号切換部８０７と、制御部８０８とから構成される。

フレームメモリ８０２は、入力画像信号８１０を画像フレーム毎に記憶する。
補間不適領域検出部８０３は、フレームメモリ８０２に記憶された画像フレームに対して、所定の枚数毎に補間不適領域の検出を行う。検出の動作については、上記「（１−１）補間不適領域検出部７０３の動作」で説明したのと同様であるので、ここでは説明を省略する。

ここで、所定の枚数毎とは、任意に設定可能である。また、例えば、入力画像信号８１０が符号化画像信号を復号化して得られた信号である場合には、画面内符号化されていた画像フレーム毎であってもよい。

以下、補間不適領域の検出が行われる画像フレームを「検出対象フレーム」といい、検出が行われない画像フレームを「非検出フレーム」という。

さらに、補間不適領域検出部８０３は、検出対象フレームに対して検出された補間不適領域を動きベクトル検出部８０４および外枠領域補償部８０６に通知する。

動きベクトル検出部８０４は、上記（４−２−１）で説明した変形例としての動きベクトル検出部７０４と同様の動作を行う。すなわち、検出対象フレームおよび非検出フレームにおける補間好適領域を新たに画像ブロックに分割し、それぞれの画像ブロックの動きベクトルを検出する。

ここで、補間好適領域は、補間不適領域検出部８０３から取得された補間不適領域に基づいて、決定される。すなわち、非検出フレームについては、検出対象フレームについて得られた補間不適領域を利用して、補間好適領域が決定される。

補間フレーム作成部８０５は、補間フレームにおける、検出対象フレームの補間好適領域と同じ位置の補間画素領域を、検出対象フレームの補間好適領域あるいは非検出フレームの補間好適領域と、それぞれについて検出された動きベクトルとに基づいて作成する。

さらに、補間フレーム作成部８０５は、補間フレームにおける、検出対象フレームの補間不適領域と同じ位置の補間画素領域を、あらかじめ決めた画素値（例えば、黒色を表す画素値）により領域補償する。

外枠領域補償部８０６は、フレームメモリ８０２が記憶する画像フレームにおける、検出対象フレームの補間不適領域と同じ位置の画素領域を、あらかじめ決めた画素値（例えば、黒色を表す画素値）により領域補償する。

信号切換部８０７は、外枠領域補償部８０６により領域補償された画像フレームと補間フレーム作成部８０５が作成する補間フレームとを切り換えて、出力画像信号８１１とする。制御部７０７は、補間不適領域検出部８０３、動きベクトル検出部８０４、補間フレーム作成部８０５、外枠領域補償部８０６および信号切換部７０６の動作に必要な制御信号を与える。

〈２〉補間フレーム作成装置８０１の効果
図４７を用いて、補間フレーム作成装置８０１の効果について説明を行う。

図４７（ａ）は、補間フレーム作成装置８０１への入力画像信号８１０を構成する画像フレーム８１６〜８１８である。入力画像信号８１０は、レターボックスでアスペクト比の変換された画像であり、上下に帯状領域８２０〜８２２を有している。

図４７（ｂ）は、補間フレーム作成装置８０１により得られた出力画像信号８１１を構成する画像フレーム８１６〜８１８および補間フレームＣＦ８２５，ＣＦ８２６である。

画像フレーム８１６について、帯状領域８２０が補間不適領域８２７として検出される。すなわち、画像フレーム８１６が上記した「検出対象フレーム」に相当し、画像フレーム８１７，８１８が上記した「非検出フレーム」に相当している。

画像フレーム８１６〜８１８および補間フレームＣＦ８２５，ＣＦ８２６において、画像フレーム８１６の補間不適領域８２７と同じ位置の画素領域があらかじめ決めた画素値（例えば、黒色を表す画素値）により領域補償されている。すなわち、出力画像信号８１１では、補間フレームＣＦ８２５，ＣＦ８２６だけでなく、画像フレーム８１６〜８１８に対しても画素領域の領域補償が行われている。

このため、補間フレーム作成装置８０１では、入力画像信号８１０を構成するそれぞれの画像フレームの補間不適領域の検出に、揺らぎが生ずると予想される場合にも、補間フレームを含めて、一様な画素値により領域補償が行われる。また、領域補償される画素領域も一様な大きさとなる。これにより、出力画像信号８１１の視覚的印象が向上する。

［第８実施形態］
本発明の第８実施形態として、補間フレーム作成方法、補間フレーム作成プログラム、および補間フレーム作成装置の応用例とそれを用いたシステムを図４８〜図５１を用いて説明する。

図４８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（personal digital assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図４８のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってモードちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。また、コンテンツの再生に際しては、上記各実施形態の補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記各実施形態で示した補間フレーム作成方法を実現する補間フレーム作成プログラムを備えていてもよい。

一例として携帯電話について説明する。
図４９は、上記各実施形態の補間フレーム作成装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図５０を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、補間フレーム作成部ｅｘ３１４、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。さらに、補間フレーム作成部ｅｘ３１４は、上記各実施形態の補間フレーム作成方法にて再生動画像データを補間するデータを作成し、再生動画像データを再生する。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図５１に示すようにディジタル放送用システムにも上記各実施形態の補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記各実施形態の補間フレーム作成装置を備えていてもよい。また、上記各実施形態の補間フレーム作成方法を用いるものであってもよい。さらに、上記各実施形態の補間フレーム作成方法を実現する補間フレーム作成プログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記各実施形態の補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記各実施形態の補間フレーム作成装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に補間フレーム作成装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記各実施形態の補間フレーム作成装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を補間して再生し、モニタｅｘ４０８に表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図５０に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記各実施形態の補間フレーム作成装置、補間フレーム作成方法あるいは補間フレーム作成方法を実現する補間フレーム作成プログラムを上述したいずれの機器・システムに用いることは可能であり、上記各実施形態で説明した効果を得ることができる。

［その他］
上記［第１実施形態］〜［第８実施形態］に記載の補間フレーム作成装置１０１，２０１，６０１，３０１，６２１，６５１，７０１，７５１あるいは８０１は、復号化装置に内蔵あるいは付属され、復号化装置の一部として動作する装置であっても良い。

例えば、図３６に示す補間フレーム作成装置７０１は、図２０に示す復号化装置２１５に内蔵され、復号化装置２１５が復号化する復号化画像信号２１２を入力画像信号７１０として取得する装置であっても良い。このことは、図１，図４１あるいは図４６に示す補間フレーム作成装置１０１，７５１あるいは８０１についても同様である。ここで、補間フレーム作成装置７５１を内蔵する復号化装置においては、外部から補間不適領域情報７５５を取得することとなる。

また、図１５，２１，２５，２９あるいは３４に示す補間フレーム作成装置２０１，６０１，３０１，６２１あるいは６５１は、それぞれの図に示す復号化装置２１５と一体として構成される装置であっても良い。

なお、補間フレーム作成装置１０１，２０１，６０１，３０１，６２１，６５１，７０１，７５１および８０１の各部は、ＬＳＩなどの集積回路により構成されていてもよい。また、各フレームメモリは、ＤＲＡＭ、ＳＲＡＭなどの記憶装置であってもよい。

［付記］
〈付記の内容〉
（付記１）
前記補間フレーム作成手段では、前記基準フレームと前記参照フレームとの異なる組み合わせにより検出される動きベクトルに基づいて、前記補間フレームを形成する各補間画素領域を作成することができる、
請求項２３〜２７のいずれかに記載の補間フレーム作成装置。

（付記２）
画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得手段と、
前記動き関連情報を近傍の画像ブロックの動き関連情報を用いて補正処理した補正動き関連情報に基づいて、前記補間フレームを作成する補間フレーム作成手段と、
を備える補間フレーム作成装置。

（付記３）
前記補正処理は、平滑化処理である、
付記２に記載の補間フレーム作成装置。

（付記４）
前記画像フレームを構成する前記画像ブロック全体の中から所定の画像ブロックの選択を行う画像ブロック選択手段をさらに備え、
前記補正動き関連情報は、前記所定の画像ブロック以外の前記画像ブロックの前記動き関連情報について前記平滑化処理された動き関連情報である、
付記３に記載の補間フレーム作成装置。

（付記５）
前記画像フレームを構成する前記画像ブロック全体の中から所定の画像ブロックの選択を行う画像ブロック選択手段をさらに備え、
前記補間フレーム作成手段は、前記動き関連情報により前記補正処理された、前記所定の画像ブロックの動き関連情報と、前記所定の画像ブロック以外の画像ブロックの動き関連情報とに基づいて、前記補間フレームを作成する、
付記２に記載の補間フレーム作成装置。

（付記６）
前記画像フレームを構成する画像ブロックの動きに関する動き関連情報は、前記画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトルである、
付記５に記載の補間フレーム作成装置。

（付記７）
前記所定の画像ブロックは、前記動き補償ベクトルを有さないと判断される画像ブロックを含んでいる、
付記６に記載の補間フレーム作成装置。

（付記８）
前記画像フレームを構成する画像ブロックの動きに関する動き関連情報は、前記画像フレームを構成する前記画像ブロックについて検出された動きベクトルである、
付記５に記載の補間フレーム作成装置。

（付記９）
前記所定の画像ブロックは、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックを含んでいる、
付記５に記載の補間フレーム作成装置。

（付記１０）
画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得ステップと、
前記動き関連情報を近傍の画像ブロックの動き関連情報を用いて補正処理した補正動き関連情報に基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
を備える補間フレーム作成方法。

（付記１１）
前記補正処理は、平滑化処理である、付記１０に記載の補間フレーム作成方法。

（付記１２）
前記画像フレームを構成する前記画像ブロック全体の中から所定の画像ブロックの選択を行う画像ブロック選択ステップをさらに備え、
前記補間フレーム作成ステップは、前記動き関連情報により前記補正処理された、前記所定の画像ブロックの動き関連情報と、前記所定の画像ブロック以外の画像ブロックの動き関連情報とに基づいて、前記補間フレームを作成する、付記１０に記載の補間フレーム作成方法。

（付記１３）
前記所定の画像ブロックは、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックを含んでいる、付記１２に記載の補間フレーム作成方法。

（付記１４）
コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
前記補間フレーム作成プログラムは、コンピュータに
前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得ステップと、
前記動き関連情報を近傍の画像ブロックの動き関連情報を用いて補正処理した補正動き関連情報に基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
を備える補間フレーム作成方法
を、行わせるものである補間フレーム作成プログラム。

（付記１５）
前記補正処理は、平滑化処理である、付記１４に記載の補間フレーム作成プログラム。

（付記１６）
前記補間フレーム作成方法は、前記画像フレームを構成する前記画像ブロック全体の中から所定の画像ブロックの選択を行う画像ブロック選択ステップをさらに備え、
前記補間フレーム作成ステップは、前記動き関連情報により前記補正処理された、前記所定の画像ブロックの動き関連情報と、前記所定の画像ブロック以外の画像ブロックの動き関連情報とに基づいて、前記補間フレームを作成する、付記１４に記載の補間フレーム作成プログラム。

（付記１７）
前記所定の画像ブロックは、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックを含んでいる、付記１６に記載の補間フレーム作成プログラム。

〈付記の説明〉
付記１に記載の補間フレーム作成装置は、請求項２３〜２７のいずれかに記載の補間フレーム作成装置であって、補間フレーム作成手段では、基準フレームと参照フレームとの異なる組み合わせにより検出される動きベクトルに基づいて、補間フレームを形成する各補間画素領域を作成することができる。

この補間フレーム作成装置では、補間フレームを形成する各補間画素領域は、検出された動きベクトルのうち、補間画素領域を作成するのに適した動きベクトルから作成される。この結果、補間フレームの作成の精度が向上する。

付記２に記載の補間フレーム作成装置は、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、動き関連情報取得手段と、補間フレーム作成手段とを備えている。動き関連情報取得手段は、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。補間フレーム作成手段は、動き関連情報を近傍の画像ブロックの動き関連情報を用いて補正処理した補正動き関連情報に基づいて、補間フレームを作成する。

ここで、動き関連情報とは、例えば、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトル、あるいは画像フレームを構成する画像ブロックについて検出された動きベクトルなどである。

この補間フレーム作成装置では、近傍の画像ブロックの動き関連情報を用いて動き関連情報の補正処理を行う。このため、動き関連情報の画像フレーム内での相関性を高めることが可能となり、補間フレームの画質の向上が図られる。

付記３に記載の補間フレーム作成装置は、付記２に記載の補間フレーム作成装置であって、補正処理は、平滑化処理である。

ここで、平滑化処理とは、例えば、補正の対象となる動き関連情報を近傍の画像ブロックの動き関連情報により置換する処理や平滑化フィルタを用いた処理などである。平滑化フィルタは、例えば、所定の重み係数を有する線形平滑化フィルタ、重み係数が補正に用いられる動き関連情報により適応的に変化する適応平滑化フィルタ、その他の非線形フィルタ（メディアンフィルタなど）などである。

この補間フレーム作成装置では、動き関連情報の画像フレーム内での相関性を高めることが可能となり、補間フレームの画質の向上が図られる。

付記４に記載の補間フレーム作成装置は、付記３の補間フレーム作成装置であって、画像ブロック選択手段をさらに備えている。画像ブロック選択手段は、画像フレームを構成する画像ブロック全体の中から所定の画像ブロックの選択を行う。補正動き関連情報は、所定の画像ブロック以外の画像ブロックの動き関連情報について平滑化処理された動き関連情報である。

この補間フレーム作成装置では、所定の画像ブロックを間引いた後に平滑化処理を行う。このため、平滑化処理のローパスフィルタとしての効果がさらに高まる。また、平滑化処理に用いる動き関連情報を減らすことが可能となり、処理量を低減することが可能となる。

付記５に記載の補間フレーム作成装置は、付記２に記載の補間フレーム作成装置であって、画像ブロック選択手段をさらに備えている。画像ブロック選択手段は、画像フレームを構成する画像ブロック全体の中から所定の画像ブロックの選択を行う。補間フレーム作成手段は、動き関連情報により補正処理された、所定の画像ブロックの動き関連情報と、所定の画像ブロック以外の画像ブロックの動き関連情報とに基づいて、補間フレームを作成する。

ここで、所定の画像ブロックとは、例えば、動き関連情報が動きを正確に反映していないと判断される画像ブロックや画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトルを有さないと判断される画像ブロックなどである。

この補間フレーム作成装置では、所定の画像ブロックの動き関連情報が補正処理される。この補正処理により、所定の画像ブロックの動き関連情報の信頼性を高めることが可能となり、補間フレームの画質を向上が図られる。

付記６に記載の補間フレーム作成装置は、付記５に記載の補間フレーム作成装置であって、画像フレームを構成する画像ブロックの動きに関する動き関連情報は、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトルである。

この補間フレーム作成装置では、所定の画像ブロックの動き補償ベクトルが補正処理される。補正処理には、近傍の画像ブロックの動き補償ベクトルを用いることができ、画像フレーム内での相関性を高めた動き補償ベクトルに基づいて補間フレームを作成することが可能となる。このため、補間フレームの画質の向上が図られる。

付記７に記載の補間フレーム作成装置は、付記６に記載の補間フレーム作成装置であって、所定の画像ブロックは、動き補償ベクトルを有さないと判断される画像ブロックを含んでいる。

ここで、動き補償ベクトルを有さないと判断される画像ブロックとは、例えば、画面内符号化された画像ブロックや、スキップされた画像ブロックとしてデータが伝送されない画像ブロックなどである。

この補間フレーム作成装置では、動き補償ベクトルを有さないと判断される画像ブロックについて、近傍の画像ブロックの動き補償ベクトルを用いて補正処理を行うことが可能となる。このため、動き補償ベクトルを有さないと判断される画像ブロックも補間フレーム作成に用いることが可能となる。

付記８に記載の補間フレーム作成装置は、付記５に記載の補間フレーム作成装置であって、画像フレームを構成する画像ブロックの動きに関する動き関連情報は、画像フレームを構成する画像ブロックについて検出された動きベクトルである。

この補間フレーム作成装置では、検出された動きベクトルを近傍の画像ブロックの動きベクトルにより補正する。このため、動きベクトルの画像フレーム内での相関性を高めることが可能となり、補間フレームの画質の向上が図られる。

付記９に記載の補間フレーム作成装置は、付記５に記載の補間フレーム作成装置であって、所定の画像ブロックは、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックを含んでいる。

ここで、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックとは、例えば、取得された動き関連情報と周囲の画像ブロックの動き関連情報との相関が低い画像ブロック、画像フレームを復号するための符号化画像信号を構成する符号化ブロックのＤＣＴ係数の和がある閾値より大きい画像ブロック、あるいは動きベクトルを検出する際に計算された画像ブロックの絶対差分和（ＳＡＤ）がある閾値より大きい画像ブロックなどである。

この補間フレーム作成装置では、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックについて動き関連情報の補正を行うことが可能であり、補間フレームの画質の向上が図られる。

付記１０に記載の補間フレーム作成方法は、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、動き関連情報取得ステップと、補間フレーム作成ステップとを備えている。動き関連情報取得ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。補間フレーム作成ステップは、動き関連情報を近傍の画像ブロックの動き関連情報を用いて補正処理した補正動き関連情報に基づいて、補間フレームを作成する。

ここで、動き関連情報とは、例えば、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトル、あるいは画像フレームを構成する画像ブロックについて検出された動きベクトルなどである。

この補間フレーム作成方法では、近傍の画像ブロックの動き関連情報を用いて動き関連情報の補正処理を行う。このため、動き関連情報の画像フレーム内での相関性を高めることが可能となり、補間フレームの画質の向上が図られる。

付記１１に記載の補間フレーム作成方法は、付記１０に記載の補間フレーム作成方法であって、補正処理は、平滑化処理である。

ここで、平滑化処理とは、例えば、補正の対象となる動き関連情報を近傍の画像ブロックの動き関連情報により置換する処理や平滑化フィルタを用いた処理などである。平滑化フィルタは、例えば、所定の重み係数を有する線形平滑化フィルタ、重み係数が補正に用いられる動き関連情報により適応的に変化する適応平滑化フィルタ、その他の非線形フィルタ（メディアンフィルタなど）などである。

この補間フレーム作成方法では、動き関連情報の画像フレーム内での相関性を高めることが可能となり、補間フレームの画質の向上が図られる。

付記１２に記載の補間フレーム作成方法は、付記１０に記載の補間フレーム作成方法であって、画像ブロック選択ステップをさらに備えている。画像ブロック選択ステップは、画像フレームを構成する画像ブロック全体の中から所定の画像ブロックの選択を行う。補間フレーム作成ステップは、動き関連情報により補正処理された、所定の画像ブロックの動き関連情報と、所定の画像ブロック以外の画像ブロックの動き関連情報とに基づいて、補間フレームを作成する。

ここで、所定の画像ブロックとは、例えば、動き関連情報が動きを正確に反映していないと判断される画像ブロックや画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトルを有さないと判断される画像ブロックなどである。

この補間フレーム作成方法では、所定の画像ブロックの動き関連情報が補正処理される。この補正処理により、所定の画像ブロックの動き関連情報の信頼性を高めることが可能となり、補間フレームの画質を向上が図られる。

付記１３に記載の補間フレーム作成方法は、付記１２に記載の補間フレーム作成方法であって、所定の画像ブロックは、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックを含んでいる。

ここで、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックとは、例えば、取得された動き関連情報と周囲の画像ブロックの動き関連情報との相関が低い画像ブロック、画像フレームを復号するための符号化画像信号を構成する符号化ブロックのＤＣＴ係数の和がある閾値より大きい画像ブロック、あるいは動きベクトルを検出する際に計算された画像ブロックの絶対差分和（ＳＡＤ）がある閾値より大きい画像ブロックなどである。

この補間フレーム作成方法では、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックについて動き関連情報の補正を行うことが可能であり、補間フレームの画質の向上が図られる。

付記１４に記載の補間フレーム作成プログラムは、コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、補間フレーム作成プログラムは、コンピュータに、動き関連情報取得ステップと、補間フレーム作成ステップとを備える補間フレーム作成方法を行わせるものである。動き関連情報取得ステップは、画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する。補間フレーム作成ステップは、動き関連情報を近傍の画像ブロックの動き関連情報を用いて補正処理した補正動き関連情報に基づいて、補間フレームを作成する。

ここで、動き関連情報とは、例えば、画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトル、あるいは画像フレームを構成する画像ブロックについて検出された動きベクトルなどである。

この補間フレーム作成プログラムでは、近傍の画像ブロックの動き関連情報を用いて動き関連情報の補正処理を行う。このため、動き関連情報の画像フレーム内での相関性を高めることが可能となり、補間フレームの画質の向上が図られる。

付記１５に記載の補間フレーム作成プログラムは、付記１４に記載の補間フレーム作成プログラムであって、補正処理は、平滑化処理である。

ここで、平滑化処理とは、例えば、補正の対象となる動き関連情報を近傍の画像ブロックの動き関連情報により置換する処理や平滑化フィルタを用いた処理などである。平滑化フィルタは、例えば、所定の重み係数を有する線形平滑化フィルタ、重み係数が補正に用いられる動き関連情報により適応的に変化する適応平滑化フィルタ、その他の非線形フィルタ（メディアンフィルタなど）などである。

この補間フレーム作成プログラムでは、動き関連情報の画像フレーム内での相関性を高めることが可能となり、補間フレームの画質の向上が図られる。

付記１６に記載の補間フレーム作成プログラムは、付記１４に記載の補間フレーム作成プログラムであって、補間フレーム作成方法は、画像フレームを構成する画像ブロック全体の中から所定の画像ブロックの選択を行う画像ブロック選択ステップをさらに備えている。補間フレーム作成ステップは、動き関連情報により補正処理された、所定の画像ブロックの動き関連情報と、所定の画像ブロック以外の画像ブロックの動き関連情報とに基づいて、補間フレームを作成する。

ここで、所定の画像ブロックとは、例えば、動き関連情報が動きを正確に反映していないと判断される画像ブロックや画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトルを有さないと判断される画像ブロックなどである。

この補間フレーム作成プログラムでは、所定の画像ブロックの動き関連情報が補正処理される。この補正処理により、所定の画像ブロックの動き関連情報の信頼性を高めることが可能となり、補間フレームの画質を向上が図られる。

付記１７に記載の補間フレーム作成プログラムは、付記１６に記載の補間フレーム作成プログラムであって、所定の画像ブロックは、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックを含んでいる。

ここで、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックとは、例えば、取得された動き関連情報と周囲の画像ブロックの動き関連情報との相関が低い画像ブロック、画像フレームを復号するための符号化画像信号を構成する符号化ブロックのＤＣＴ係数の和がある閾値より大きい画像ブロック、あるいは動きベクトルを検出する際に計算された画像ブロックの絶対差分和（ＳＡＤ）がある閾値より大きい画像ブロックなどである。

この補間フレーム作成プログラムでは、動きを正確に反映していないと判断される動き関連情報を有する画像ブロックについて動き関連情報の補正を行うことが可能であり、補間フレームの画質の向上が図られる。

本発明にかかる補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラムは、補間フレームの作成の精度をさらに向上させる効果を有し、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラムなどとして有用である。

また別の本発明にかかる補間フレーム作成方法および補間フレーム作成プログラムは、装置への実装に適した補間フレーム作成方法および補間フレーム作成プログラムであり、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法および補間フレーム作成プログラムなどとして有用である。

さらに別の本発明にかかる補間フレーム作成装置は、本発明の補間フレームを作成する技術を実装した補間フレーム作成装置であり、画像フレームを補間するための補間フレームを作成する補間フレーム作成装置などとして有用である。

本発明の第１実施形態としての補間フレーム作成装置１０１の構成を示すブロック図。 動きベクトル検出部１０３および補間フレーム作成部１０４の動作を説明する説明図。 本発明の第１実施形態としての補間フレーム作成方法を示すフローチャート。 本発明の第１実施形態の効果を説明する説明図。 第１実施形態の変形例として複数の基準フレームを利用する場合を説明する説明図。 第１実施形態の変形例として複数の参照フレームを利用する場合を説明する説明図。 第１実施形態の変形例として同一の画像ブロックから複数の補間用動きベクトルが求められる場合を説明する説明図。 第１実施形態の変形例として動きベクトルを外分して補間用動きベクトルを求める場合を説明する説明図。 第１実施形態の変形例として双方向の動きベクトルを用いて補間フレームを作成する場合を説明する説明図。 第１実施形態の変形例として補間ブロックごとに補間用動きベクトルを求める場合を説明する説明図。 第１実施形態の変形例として補間ブロックを通る動きベクトルを検出する場合を説明する説明図。 補間フレームの作成の処理の余裕度を説明する概念説明図。 第１実施形態の変形例として平滑化フィルタを用いた補正処理について説明する説明図。 第１実施形態の変形例として部分的な画像ブロックの動きベクトルを用いない補正処理について説明する説明図。 本発明の第２実施形態としての補間フレーム作成装置２０１の構成を示すブロック図。 動きベクトル導出部２０３および補間フレーム作成部２０４の動作を説明する説明図。 画像信号情報取得部２０７による特定画像ブロックの選択の具体例を説明する説明図。 本発明の第２実施形態としての補間フレーム作成方法を示すフローチャート。 第２実施形態の変形例として動きベクトルの検出範囲の決定について説明する説明図。 復号化装置２１５の構成を示すブロック図。 本発明の第３実施形態としての補間フレーム作成装置６０１の構成を示すブロック図。 補正動き補償ベクトルＥＶ１５の導出の具体例を説明する説明図。 本発明の第３実施形態としての補間フレーム作成方法を示すフローチャート。 第３実施形態の変形例として特定画像ブロックの周囲の画像ブロックの動き補償ベクトルの補正処理について説明する説明図。 本発明の第４実施形態としての補間フレーム作成装置３０１の構成を示すブロック図。 符号化装置３０３の構成を示すブロック図。 本発明の第４実施形態としての補間フレーム作成方法を示すフローチャート。 動き検出部３２６の処理の余裕度を説明する概念説明図。 本発明の第５実施形態としての補間フレーム作成装置６２１の構成を示すブロック図。 補間フレームＣＦ６４０の作成について説明する説明図。 補間フレームＣＦ６４０上の画素領域６４６の領域補償について説明する説明図。 図３１（ｄ）について補足説明をする説明図。 本発明の第５実施形態としての補間フレーム作成方法を示すフローチャート。 本発明の第６実施形態としての補間フレーム作成装置６５１の構成を示すブロック図。 本発明の第６実施形態としての補間フレーム作成方法を示すフローチャート。 本発明の第７実施形態としての補間フレーム作成装置７０１の構成を示すブロック図。 補間不適領域７１６と補間好適領域７１７とについて説明する説明図。 動きベクトル検出部７０４の動作について説明する説明図。 補間フレーム作成部７０５の動作について説明する説明図。 本発明の第７実施形態としての補間フレーム作成方法を示すフローチャート。 本発明の第７実施形態の変形例としての補間フレーム作成装置７５１の構成を示すブロック図。 補間不適領域取得部７５３の動作について説明する説明図。 本発明の第７実施形態の変形例としての動きベクトル検出部７０４の動作について説明する説明図。 本発明の第７実施形態の変形例としての動きベクトル検出部７０４の動作について説明する説明図。 本発明の第７実施形態の変形例としての補間フレーム作成部７０５の動作について説明する説明図。 本発明の第７実施形態の変形例としての補間フレーム作成装置８０１の構成を示すブロック図。 補間フレーム作成装置８０１の効果について説明する説明図。 コンテンツ供給システムの全体構成を示すブロック図。 本発明の補間フレーム作成装置を搭載する携帯電話の例。 携帯電話のブロック図。 ディジタル放送用システムの例。 従来技術としての補間フレーム作成装置４０１の構成を示すブロック図。 従来技術としての補間フレームの作成について説明する説明図。

符号の説明

１０１ 補間フレーム作成装置
１０２ フレームメモリ
１０３ 動きベクトル検出部
１０４ 補間フレーム作成部
１０５ 信号切換部
１０６ 制御部
１１０ 入力画像信号
１１１ 出力画像信号
２０１ 補間フレーム作成装置
２０２ フレームメモリ
２０３ 動きベクトル導出部
２０４ 補間フレーム作成部
２０５ 信号切換部
２０６ 制御部
２０７ 画像信号情報取得部
２０８ 動きベクトル検出部
２０９ ベクトル変換部
２１０ 符号化画像信号
２１１ 出力画像信号
２１２ 復号化画像信号
２１３ 画像信号情報
２１５ 復号化装置
ＲＦ１１６ 参照フレーム
ＢＦ１１７ 基準フレーム
ＢＦ１１８ 基準フレーム
ＣＦ１２１ 補間フレーム
ＭＶ１２５ 動きベクトル
ＭＶ１２６ 動きベクトル
ＣＭＶ１２７ 補間用動きベクトル
ＣＭＶ１２８ 補間用動きベクトル

Claims (46)

1. 動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
   前記符号化画像信号を構成する符号化ブロックの動き補償ベクトルを取得する動き補償ベクトル取得手段と、
   前記画像フレームを構成する画像ブロックの動きベクトルに基づいて、前記補間フレームを作成する手段であって、前記画像ブロックの前記動きベクトルとして、前記符号化ブロックの前記動き補償ベクトルを用いる、補間フレーム作成手段と、
   を備える補間フレーム作成装置。
2. 動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
   前記符号化画像信号を構成する符号化ブロックの動き補償ベクトルを取得する動き補償ベクトル取得手段と、
   基準フレームを構成する画像ブロックの動きベクトルを参照フレームを参照して検出する手段であって、前記動き補償ベクトルに基づいて定められる参照フレームの所定領域において前記動きベクトルを検出する動きベクトル検出手段と、
   前記検出された前記動きベクトルに基づいて、前記補間フレームを作成する補間フレーム作成手段と、
   を備える補間フレーム作成装置。
3. 動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
   前記符号化画像信号の画像信号情報を取得する画像信号情報取得手段と、
   基準フレームを構成する画像ブロック全体の中から部分的に画像ブロックを選択し、部分的に選択した画像ブロックの動きベクトルを参照フレームを参照して検出する動きベクトル検出手段と、
   前記画像信号情報と前記動きベクトルとに基づいて、前記補間フレームを作成する補間フレーム作成手段と、
   を備える補間フレーム作成装置。
4. 前記画像信号情報は、前記符号化画像信号を構成する符号化ブロックの動き補償ベクトルまたは符号化モードを含んでおり、
   前記部分的に選択した画像ブロックは、前記画像信号情報により、静止していると判断される画像ブロック、あるいは隣接する前記画像ブロックと相関の低い動きをしていると判断される画像ブロックを含んでいる、
   請求項３に記載の補間フレーム作成装置。
5. 前記画像信号情報は、前記符号化画像信号を構成する符号化ブロックの符号化モードを含んでおり、
   前記部分的に選択した画像ブロックは、前記画像信号情報により、画面内符号化されていると判断される画像ブロックを含んでいる、
   請求項３または４に記載の補間フレーム作成装置。
6. 画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
   前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得手段と、
   前記動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する補間用ベクトル導出手段と、
   前記１つの補間用ベクトルに基づいて、前記補間フレームを作成する補間フレーム作成手段と、
   を備える補間フレーム作成装置。
7. 前記１つの補間用ベクトルは、前記画像ブロック全体の中から部分的に選択された画像ブロックの動き関連情報から導出される、
   請求項６に記載の補間フレーム作成装置。
8. 前記動き関連情報は、前記画像フレームを復号するための符号化画像信号を構成する符号化ブロックの動き補償ベクトルであり、
   前記補間フレーム作成手段は、画面内符号化された画像フレームに対して時間的に前方または後方の画像フレームについて導出された１つの補間用ベクトルを利用して前記補間フレームを作成する、
   請求項６に記載の補間フレーム作成装置。
9. 画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
   前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得手段と、
   前記画像フレームが前記補間フレームの作成に適しているか否かの判定を行う画像フレーム判定手段と、
   前記動き関連情報に基づいて、前記補間フレームを作成する手段であって、前記判定に基づいて、前記補間フレームを作成する方式を切り換える補間フレーム作成手段と、
   を備える補間フレーム作成装置。
10. 前記補間フレーム作成手段は、前記判定が否定的である場合に、前記補間フレームに対して時間的に前方または／および後方の画像フレームの少なくとも一部を前記補間フレームとして用いることができる、
    請求項９に記載の補間フレーム作成装置。
11. 前記動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する補間用ベクトル導出手段をさらに備え、
    前記補間フレーム作成手段は、前記判定が否定的である場合に、前記１つの補間用ベクトルに基づいて、前記補間フレームを作成することができる、
    請求項９に記載の補間フレーム作成装置。
12. 前記補間フレーム作成手段は、前記判定が否定的である場合に、前記補間フレームを作成しない、
    請求項９に記載の補間フレーム作成装置。
13. 画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
    前記補間フレームを作成する作成処理能力を判断する作成処理能力判断手段と、
    前記作成処理能力判断手段の判断に応じて、前記補間フレームを作成する補間フレーム作成手段と、
    を備える補間フレーム作成装置。
14. 前記補間フレーム作成手段は、前記作成処理能力判断手段の判断に応じて、前記補間フレームの補間枚数を変化させる、
    請求項１３に記載の補間フレーム作成装置。
15. 前記補間フレーム作成手段は、前記作成処理能力判断手段の判断に応じて、前記画像フレームを構成する画像ブロックのうち、動きベクトルを検出する画像ブロックの個数を変化させる、
    請求項１３または１４に記載の補間フレーム作成装置。
16. 前記補間フレーム作成手段は、前記作成処理能力判断手段の判断に応じて、前記画像フレームを構成する画像ブロックの動きベクトルを探索する探索領域を変化させる、
    請求項１３〜１５のいずれかに記載の補間フレーム作成装置。
17. 前記作成処理能力判断手段は、前記画像フレームから構成される画像信号の属性を判断する、
    請求項１３〜１６のいずれかに記載の補間フレーム作成装置。
18. 画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
    動き補償符号化を行う符号化装置の動き検出部を介して、前記画像フレームを構成する画像ブロックの動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルに基づいて、前記補間フレームを作成する補間フレーム作成手段と、
    を備える補間フレーム作成装置。
19. 前記動き検出部の動作状況を判断する動作状況判断手段、
    をさらに備え、
    前記補間フレーム作成手段では、前記判断された動作状況に応じて、前記補間フレームを作成する、
    請求項１８に記載の補間フレーム作成装置。
20. 前記補間フレーム作成手段では、前記動作状況判断手段により、前記動き検出部が動作中であると判断された場合に、前記補間フレームの作成を行わない、
    請求項１９に記載の補間フレーム作成装置。
21. 前記補間フレーム作成手段では、前記動作状況判断手段により前記動き検出部が動作中であると判断された場合に、前記画像フレームの復号の際に得られる符号化ブロックの動き補償ベクトルに基づいて、前記補間フレームを作成する、
    請求項１９または２０に記載の補間フレーム作成装置。
22. 画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
    前記補間フレームに対して時間的に前方または後方の一方にある複数の画像フレームを利用して動きベクトルを検出する動きベクトル検出手段と、
    前記動きベクトルに基づいて、前記補間フレームを作成する補間フレーム作成手段と、
    を備える補間フレーム作成装置。
23. 前記複数の画像フレームは、前記動きベクトルの検出の基準となる基準フレームを複数含んでおり、
    前記補間フレームに対して時間的に前方または後方の他方にある画像フレームは、前記動きベクトルの検出の対象となる参照フレームを含んでおり、
    前記動きベクトル検出手段では、前記参照フレームを参照して前記基準フレームを構成する画像ブロックの前記動きベクトルを検出する、
    請求項２２に記載の補間フレーム作成装置。
24. 前記複数の画像フレームは、前記動きベクトルの検出の対象となる参照フレームを複数含んでおり、
    前記補間フレームに対して時間的に前方または後方の他方にある画像フレームは、前記動きベクトルの検出の基準となる基準フレームを含んでおり、
    前記動きベクトル検出手段では、前記参照フレームを参照して前記基準フレームを構成する画像ブロックの前記動きベクトルを検出する、
    請求項２２に記載の補間フレーム作成装置。
25. 前記複数の画像フレームは、前記動きベクトルの検出の基準となる基準フレームと前記動きベクトルの検出の対象となる参照フレームとを含んでおり、
    前記動きベクトル検出手段では、前記参照フレームを参照して前記基準フレームを構成する画像ブロックの前記動きベクトルを検出する、
    請求項２２に記載の補間フレーム作成装置。
26. 前記動きベクトル検出手段では、前記動きベクトルの検出の基準となる第１基準フレームに対して時間的に前方の第１参照フレームを参照して第１動きベクトルを検出し、前記動きベクトルの検出の基準となる第２基準フレームに対して時間的に後方の第２参照フレームを参照して第２動きベクトルを検出することができ、
    前記補間フレーム作成手段では、前記第１動きベクトルと前記第２動きベクトルとに基づいて、前記補間フレームを作成することができる、
    請求項２２に記載の補間フレーム作成装置。
27. 前記動きベクトルは、前記補間フレームを構成する補間ブロックを作成するための動きベクトルであって、前記動きベクトルの検出の基準となる基準フレームを形成する基準画素領域と前記動きベクトルの検出の対象となる参照フレームを形成する参照画素領域とから検出され、
    前記参照フレームにおける前記参照画素領域の位置は、前記基準フレームにおける前記基準画素領域の位置と前記補間フレームにおける前記補間ブロックの位置とを結ぶベクトルを内分あるいは外分したベクトルの示す位置として定められる、
    請求項２２に記載の補間フレーム作成装置。
28. 画像フレームを補間するための補間フレームを作成する補間フレーム作成装置であって、
    前記画像フレームの外枠領域であって、前記補間フレームの作成に適していない補間不適領域の決定を行う領域決定手段と、
    前記画像フレームを構成する画像ブロックの動きに関する動き関連情報に基づいて前記補間フレームを作成する手段であって、前記決定された前記補間不適領域に対して特別の領域補償処理を行い前記補間フレームを作成する補間フレーム作成手段と、
    を備える補間フレーム作成装置。
29. 前記補間不適領域は、前記外枠領域のうち、画素値がほぼ一定の領域である、
    請求項２８に記載の補間フレーム作成装置。
30. 前記補間不適領域は、前記画像フレームの画像サイズに対してあらかじめ定められた領域である、
    請求項２８に記載の補間フレーム作成装置。
31. 前記領域決定手段は、取得された、前記補間不適領域を示す補間不適領域情報に基づいて、前記補間不適領域を決定する、
    請求項２８に記載の補間フレーム作成装置。
32. 前記補間不適領域情報は、複数の前記画像フレームから構成される画像信号を表示する表示装置の表示サイズと前記表示装置の表示用メモリのメモリサイズとを含んでいる、
    請求項３１に記載の補間フレーム作成装置。
33. 動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
    前記符号化画像信号の画像信号情報を取得する画像信号情報取得ステップと、
    基準フレームを構成する画像ブロック全体の中から部分的に画像ブロックを選択し、部分的に選択した画像ブロックの動きベクトルを参照フレームを参照して検出する動きベクトル検出ステップと、
    前記画像信号情報と前記動きベクトルとに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法。
34. 画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
    前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得ステップと、
    前記動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する補間用ベクトル導出ステップと、
    前記１つの補間用ベクトルに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法。
35. 画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
    前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得ステップと、
    前記画像フレームが前記補間フレームの作成に適しているか否かの判定を行う画像フレーム判定ステップと、
    前記動き関連情報に基づいて、前記補間フレームを作成するステップであって、前記判定に基づいて、前記補間フレームを作成する方式を切り換える補間フレーム作成ステップと、
    を備える補間フレーム作成方法。
36. 画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
    前記補間フレームを作成する作成処理能力を判断する作成処理能力判断ステップと、
    前記作成処理能力判断ステップの判断に応じて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法。
37. 画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
    動き補償符号化を行う符号化装置の動き検出部を介して、前記画像フレームを構成する画像ブロックの動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法。
38. 画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
    前記補間フレームに対して時間的に前方または後方の一方にある複数の画像フレームを利用して動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法。
39. 画像フレームを補間するための補間フレームを作成する補間フレーム作成方法であって、
    前記画像フレームの外枠領域であって、前記補間フレームの作成に適していない補間不適領域の決定を行う領域決定ステップと、
    前記画像フレームを構成する画像ブロックの動きに関する動き関連情報に基づいて前記補間フレームを作成するステップであって、前記決定された前記補間不適領域に対して特別の領域補償処理を行い前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法。
40. コンピュータにより、動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
    前記補間フレーム作成プログラムは、コンピュータに
    前記符号化画像信号の画像信号情報を取得する画像信号情報取得ステップと、
    基準フレームを構成する画像ブロック全体の中から部分的に画像ブロックを選択し、部分的に選択した画像ブロックの動きベクトルを参照フレームを参照して検出する動きベクトル検出ステップと、
    前記画像信号情報と前記動きベクトルとに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法
    を、行わせるものである補間フレーム作成プログラム。
41. コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
    前記補間フレーム作成プログラムは、コンピュータに
    前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得ステップと、
    前記動き関連情報に基づいて、補間フレームを作成するための１つの補間用ベクトルを導出する補間用ベクトル導出ステップと、
    前記１つの補間用ベクトルに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法
    を、行わせるものである補間フレーム作成プログラム。
42. コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
    前記補間フレーム作成プログラムは、コンピュータに
    前記画像フレームを構成する画像ブロックの動きに関する動き関連情報を取得する動き関連情報取得ステップと、
    前記画像フレームが前記補間フレームの作成に適しているか否かの判定を行う画像フレーム判定ステップと、
    前記動き関連情報に基づいて、前記補間フレームを作成するステップであって、前記判定に基づいて、前記補間フレームを作成する方式を切り換える補間フレーム作成ステップと、
    を備える補間フレーム作成方法
    を、行わせるものである補間フレーム作成プログラム。
43. コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
    前記補間フレーム作成プログラムは、コンピュータに
    前記補間フレームを作成する作成処理能力を判断する作成処理能力判断ステップと、
    前記作成処理能力判断ステップの判断に応じて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法
    を、行わせるものである補間フレーム作成プログラム。
44. コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
    前記補間フレーム作成プログラムは、コンピュータに
    動き補償符号化を行う符号化装置の動き検出部を介して、前記画像フレームを構成する画像ブロックの動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法
    を、行わせるものである補間フレーム作成プログラム。
45. コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
    前記補間フレーム作成プログラムは、コンピュータに
    前記補間フレームに対して時間的に前方または後方の一方にある複数の画像フレームを利用して動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルに基づいて、前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法
    を、行わせるものである補間フレーム作成プログラム。
46. コンピュータにより、画像フレームを補間するための補間フレームを作成する補間フレーム作成方法を行うための補間フレーム作成プログラムであって、
    前記補間フレーム作成プログラムは、コンピュータに
    前記画像フレームの外枠領域であって、前記補間フレームの作成に適していない補間不適領域の決定を行う領域決定ステップと、
    前記画像フレームを構成する画像ブロックの動きに関する動き関連情報に基づいて前記補間フレームを作成するステップであって、前記決定された前記補間不適領域に対して特別の領域補償処理を行い前記補間フレームを作成する補間フレーム作成ステップと、
    を備える補間フレーム作成方法
    を、行わせるものである補間フレーム作成プログラム。

Images