JP5049080B2 - フレーム補間装置、フレーム補間プログラム、フレーム補間方法および携帯端末 - Google Patents

Description

本発明は、動画像を構成する２枚の画像フレームの間に実在しない画像フレームを補間によって作り出し、動画像の品質向上を図るフレーム補間技術、およびそれを用いたフレームレート変換技術に関する。

薄型の大型テレビに用いられるディスプレイ装置のひとつである液晶パネルにおいては、ＣＲＴやプラズマパネルのようにディスプレイ装置に一瞬の画像を描画するインパルス表示とは異なり、次の画像が来るまでの時間描画をつづけるホールド表示になっている。このホールド表示では映像の中の動体に対して、眼球の追従による動き補間と、位置の変わらないホールド表示との間でのアンマッチによって、モーションジャダといわれる現象が発生する。

この問題を解決するには、画像フレーム間に中間フレーム（補間フレーム）を作成し、動きを補間した映像を見せる事が効果的である。例えば、特許文献１には、前後の画像フレームから動きベクトルを求め、例えば、１／２時刻後の動きを補償することで、丁度中間の時刻における補間フレームを生成する方法が開示されている。

近年始まったワンセグ放送では、フレームレートが１５（フレーム毎秒：ｆｐｓ）程度と現行のアナログ放送のフレームレートである３０ｆｐｓよりも低いレートになっていることから、動きの不自然さが目立つことがあり、これについては前述の補間フレーム生成が有効である。

また、動きベクトルを精度良く求めて補間画像の画質を向上させる方法として、予測ベクトルを用いる技術が知られている。例えば、特許文献２には、時間方向から動きベクトルを予測して探索を行なう方法が開示されており、２枚の入力された画像フレームから中間の補間フレームを生成し、その際に算出した動きベクトルを次回の予測に利用している。
特開２０００−１３４５８５号公報 特開２００６−３３１１３６号公報

しかしながら、ワンセグ放送は伝送する映像情報に対して伝送帯域がシビアであるため、送出側において、符号化するシーンの難易度に応じて適応的にフレームレートを変化させる、所謂、フレームレート制御が行なわれることがある。このため、実際の運用場面では、受信機側では入力映像のフレームレートが必ずしも一定とはならず、入力される画像フレームのフレーム表示間隔に揺らぎが生じる。この揺らぎにより、特許文献２に開示されたような過去の算出済ベクトルであっても予測に利用することができない、という問題が生じる。

また、本来、フレーム補間は２枚の画像フレームから補間フレームを速やかに生成しなければならないが、フレームレート制御による画像フレームの入力時刻の揺らぎの最悪値が保証されていないため、補間処理の処理遅延（＝出力タイミング）が規定できない、という問題が生じる。

本発明は、かかる問題を解決するためのもので、入力された画像フレームの表示時刻の揺らぎ、および入力時刻の揺らぎに対応した、実時間処理対応型のフレーム補間装置、フレーム補間プログラム、フレーム補間方法およびこれらを搭載した端末を提供することを目的とする。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明のフレーム補間装置は、入力判定手段、補間画像生成手段、動きベクトル算出手段、ベクトルメモリおよびスケール手段を備え、動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置である。前記入力判定手段は、入力された画像フレームの画像間隔に応じて、前記補間画像生成手段の画像生成制御および前記スケール手段へのベクトル拡縮指示を行なう。前記スケール手段は、前記拡縮指示に応じてベクトルメモリから読み出したベクトルを拡縮し、予測ベクトルとして前記動きベクトル算出手段へ出力する。前記動きベクトル算出手段は、前記スケール手段より入力された予測ベクトルと入力された画像フレームとに基づいて、動きベクトルを算出して前記ベクトルメモリおよび前記補間画像生成手段へ出力する。前記補間画像生成手段は、前記入力判定手段による動作指示に従って、前記動きベクトル算出手段より入力された動きベクトルと入力された画像フレームとに基づいて、補間画像フレームを生成する。

また、本発明のフレーム補間装置は、前記画像間隔が、前記入力された画像フレームの入力時刻間隔であり、前記入力判定手段が、前記入力時刻間隔が所定時間を超えた場合に、前記補間画像生成手段に対して、補間画像フレームの生成処理の実行、停止および出力可否を判断することが望ましい。

また、本発明のフレーム補間装置は、前記画像間隔が、前記入力された画像フレームの表示時刻間隔であり、前記入力判定手段が、前記表示時刻間隔の長さに応じて、前記スケール手段へのベクトル拡縮指示を行なうことが望ましい。

また、本発明の一態様によれば、本発明のフレーム補間装置は、動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置であって、ｎ番目の画像フレームの入力に基づいて、前記ｎ番目の画像フレームの入力時刻および表示時刻を含む画像情報をテーブルメモリに格納し、前記テーブルメモリに格納されたｎ番目の画像フレーム、前記ｎ番目の画像フレームの１つ前に入力されたｎ−１番目の画像フレームおよび前記ｎ−１番目の画像フレームの１つ前に入力されたｎ−２番目の画像フレームの各入力時刻から、前記ｎ−２番目の画像フレームが入力されてから前記ｎ−１番目の画像フレームが入力されるまでの第１の入力間隔に対する前記ｎ−１番目の画像フレームが入力されてから前記ｎ番目の画像フレームが入力されるまでの第２の入力間隔の比を示すスケール値を算出するとともに、前記ｎ−１番目の画像フレームの入力時刻から現在時刻までの時間が所定時間を超えても前記ｎ番目の画像フレームが入力されない場合に、前記仮想フレームの作成を停止させるための補間処理停止信号を出力する入力判定手段と、前記入力判定手段によって算出されたスケール値およびベクトルメモリから読み出した前記ｎ−２番目の画像フレームから前記ｎ−１番目の画像フレームへの動きベクトルに基づいて、予測ベクトルを算出するスケール手段と、前記入力されたｎ番目の画像フレーム、ｎ−１番目の画像フレームおよび前記スケール手段によって算出された予測ベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成するための動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段によって算出された動きベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成し、前記入力判定手段によって出力された補間処理停止信号を受信した場合は、前記仮想フレームを作成しない補間画像生成手段とを備えることを特徴とする。

また、本発明のフレーム補間装置は、前記補間画像生成手段が、前記入力されたｎ番目の画像フレームおよび前記作成された仮想フレームを表示部へ出力することが望ましい。
また、本発明の一態様によれば、本発明のフレーム補間プログラムは、動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置のコンピュータを、ｎ番目の画像フレームの入力に基づいて、前記ｎ番目の画像フレームの入力時刻および表示時刻を含む画像情報をテーブルメモリに格納し、前記テーブルメモリに格納されたｎ番目の画像フレーム、前記ｎ番目の画像フレームの１つ前に入力されたｎ−１番目の画像フレームおよび前記ｎ−１番目の画像フレームの１つ前に入力されたｎ−２番目の画像フレームの各入力時刻から、前記ｎ−２番目の画像フレームが入力されてから前記ｎ−１番目の画像フレームが入力されるまでの第１の入力間隔に対する前記ｎ−１番目の画像フレームが入力されてから前記ｎ番目の画像フレームが入力されるまでの第２の入力間隔の比を示すスケール値を算出するとともに、前記ｎ−１番目の画像フレームの入力時刻から現在時刻までの時間が所定時間を超えても前記ｎ番目の画像フレームが入力されない場合に、前記仮想フレームの作成を停止させるための補間処理停止信号を出力する入力判定手段、前記入力判定手段によって算出されたスケール値およびベクトルメモリから読み出した前記ｎ−２番目の画像フレームから前記ｎ−１番目の画像フレームへの動きベクトルに基づいて、予測ベクトルを算出するスケール手段、前記入力されたｎ番目の画像フレーム、ｎ−１番目の画像フレームおよび前記スケール手段によって算出された予測ベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成するための動きベクトルを算出する動きベクトル算出手段、前記動きベクトル算出手段によって算出された動きベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成し、前記入力判定手段によって出力された補間処理停止信号を受信した場合は、前記仮想フレームを作成しない補間画像生成手段として機能させるためのフレーム補間プログラムである。

また、本発明の一態様によれば、本発明のフレーム補間方法は、動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置において実行されるフレーム補間方法であって、ｎ番目の画像フレームの入力に基づいて、前記ｎ番目の画像フレームの入力時刻および表示時刻を含む画像情報をテーブルメモリに格納し、前記テーブルメモリに格納されたｎ番目の画像フレーム、前記ｎ番目の画像フレームの１つ前に入力されたｎ−１番目の画像フレームおよび前記ｎ−１番目の画像フレームの１つ前に入力されたｎ−２番目の画像フレームの各入力時刻から、前記ｎ−２番目の画像フレームが入力されてから前記ｎ−１番目の画像フレームが入力されるまでの第１の入力間隔に対する前記ｎ−１番目の画像フレームが入力されてから前記ｎ番目の画像フレームが入力されるまでの第２の入力間隔の比を示すスケール値を算出するとともに、前記ｎ−１番目の画像フレームの入力時刻から現在時刻までの時間が所定時間を超えても前記ｎ番目の画像フレームが入力されない場合に、前記仮想フレームの作成を停止させるための補間処理停止信号を出力し、前記算出されたスケール値およびベクトルメモリから読み出した前記ｎ−２番目の画像フレームから前記ｎ−１番目の画像フレームへの動きベクトルに基づいて、予測ベクトルを算出し、前記入力されたｎ番目の画像フレーム、ｎ−１番目の画像フレームおよび前記算出された予測ベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成するための動きベクトルを算出し、前記算出された動きベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成し、前記出力された補間処理停止信号を受信した場合は、前記仮想フレームを作成しないことを特徴とする。

また、本発明の一態様によれば、本発明の端末は、上述のフレーム補間装置を備えることを特徴とする。
また、本発明の一態様によれば、本発明の端末は、上述のフレーム補間プログラムまたはフレーム補間方法を実行することを特徴とする。

本発明によれば、入力された画像フレームの表示時刻の揺らぎ、および入力時刻の揺らぎに対応することにより、動画像の品質向上を図ることが可能となる。

以下、図面に基づいて本発明を適用した実施の形態を説明する。
まず、第１の実施の形態について説明する。
図１は、本発明の第１の実施の形態にかかるフレーム補間装置の基本構成を示す図である。

図１において、本発明の第１の実施の形態にかかるフレーム補間装置は、動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置であって、入力判定部１１、ベクトルメモリ１２、スケール部１３、動きベクトル算出部１４および補間画像生成部１５を有している。

まず、本発明の第１の実施の形態にかかるフレーム補間装置を概説する。
本発明の第１の実施の形態にかかるフレーム補間装置は、入力される画像フレームの入力時刻と表示時刻とを監視する入力判定部１１を備え、入力される画像フレームを監視する。入力判定部１１は、過去にベクトル算出に用いた画像フレームの表示時刻の間隔である表示間隔Ｔ₁を保持し、次の補間画像フレームの生成対象である２枚の入力画像フレームの表示間隔Ｔ₂に合わせて、算出済のベクトルＶをＴ₂／Ｔ₁倍するよう、スケール部１３へ拡縮を指示する。同時に、入力判定部１１は、入力判定部１１への画像フレームの入力時刻の間隔である入力間隔に応じて、補間画像生成部１５の画像補間処理のオンオフを制御する。具体的には、入力間隔が所定時間を超えた場合に、補間画像生成部１５の補間画像フレームの生成を停止させ、所定時間内のときのみ補間画像生成部１５を動作させる。いずれの場合でも、前述のベクトル拡縮は指示し、動きベクトル算出部１４は動作を継続させる。

すなわち、図１に示したフレーム補間装置が有する入力判定部１１、スケール部１３、動きベクトル算出部１４および補間画像生成部１５は、下記のように動作する。
入力判定部１１は、ｎ番目の画像フレームの入力に基づいて、前記ｎ番目の画像フレームの入力時刻および表示時刻を含む画像情報を、入力画像管理テーブルとしてテーブルメモリに格納する。

図２は、入力判定部１１が保持する入力画像管理テーブルの例を示す図である。
図２に示した入力画像管理テーブルは、入力された画像フレームを識別するための画像番号フィールド、入力された時刻を示す入力時刻フィールド、および表示すべき時刻を示す表示時刻フィールドで構成され、画像フレームが入力される度に、各フィールドに情報を格納する。画像番号フィールドは、入力される画像フレームに通し番号を振って格納しても良いし、標準的な動画像符号化方式であるＭＰＥＧ（Motion Picture Expert Group）等の符号化データに付加される画像フレームの識別番号でも良い。入力時刻フィールドは、入力判定部１１に画像フレームが入力された時刻を格納する。また、表示時刻フィールドは、画像フレームをＬＣＤ等のモニターである表示部に表示すべき時刻を格納するフィールドであり、例えばＭＰＥＧにおけるＰＴＳ（Presentation Time Stamp）等を格納する。

図１の説明に戻る。
さらに、入力判定部１１は、前記テーブルメモリに格納されたｎ番目の画像フレーム、前記ｎ番目の画像フレームの１つ前に入力されたｎ−１番目の画像フレームおよび前記ｎ−１番目の画像フレームの１つ前に入力されたｎ−２番目の画像フレームの各入力時刻から、前記ｎ−２番目の画像フレームが入力されてから前記ｎ−１番目の画像フレームが入力されるまでの第１の入力間隔に対する前記ｎ−１番目の画像フレームが入力されてから前記ｎ番目の画像フレームが入力されるまでの第２の入力間隔の比を示すスケール値を算出する。また、入力判定部１１は、前記ｎ−１番目の画像フレームの入力時刻から所定時間が経過した場合に、前記仮想フレームの作成を停止させるための補間処理停止信号を出力する。すなわち、入力判定部１０１は、画像フレームの入力間隔が所定時間を超えたと判断した場合には、補間画像生成部１０５の動作を停止するよう制御する。これによって、本補間画像生成処理として、一定時間に補間画像フレームの生成が行なえないと判断した場合には補間画像フレームの出力を行なわないが、それに続く新たな画像フレームの入力に対しては、前述のスケーリング処理を含め動きベクトル算出処理を継続しておくことで、速やかに補間処理が続行できるという効果が得られる。

スケール部１３は、前記入力判定部１１によって算出されたスケール値およびベクトルメモリ１２から読み出した前記ｎ−２番目の画像フレームから前記ｎ−１番目の画像フレームへの動きベクトルに基づいて、予測ベクトルを算出する。

動きベクトル算出部１４は、前記入力されたｎ番目の画像フレーム、ｎ−１番目の画像フレームおよび前記スケール部１３によって算出された予測ベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレーム（補間画像フレーム）を作成するための動きベクトルを算出する。

そして、補間画像生成部１５は、前記動きベクトル算出部１４によって算出された動きベクトルに基づいて、前記入力されたｎ番目の画像フレームと前記ｎ−１番目の画像フレームとの間に補間する仮想フレームを作成し、前記作成された仮想フレームおよび前記入力されたｎ番目の画像フレームを、モニターである表示部へ出力する。また、前記入力判定部１１によって出力された補間処理停止信号を受信した場合は、補間画像生成部１５は前記仮想フレームを作成しない。

次に、本発明の第１の実施の形態にかかるフレーム補間装置について、図３を用いてさらに詳細な説明を行なう。
図３は、画像フレームの入力時刻と入力間隔との関係を示す図である。

入力判定部１１は、画像フレームが入力される度に、最新の画像フレーム３１の画像番号ｎの入力時刻

と１つ過去の画像フレーム３２の画像番号ｎ−１の入力時刻

との時刻差（入力間隔）Ｔ_nと、さらに１つ過去の画像フレーム３３の画像番号ｎ−２の入力時刻

と

との時刻差（入力間隔）Ｔ_n-1を求める。そして、これらの入力間隔より求めた画像間隔の比、すなわちスケール値

をスケール部１３に対して出力する。
さらに入力判定部１１は、１つ過去の画像フレーム３２の画像番号ｎ−１の入力時刻

と現在時刻との差Ｔ_dを監視し、予め定めた閾値Ｔ_thに対してＴ_d＞Ｔ_thの関係が成り立つ場合に、補間画像生成部１５に対して制御信号の一形態としての補間処理停止信号を出力する。なお、Ｔ_thは、本フレーム補間装置に許容される処理遅延から決めれば良い。

一方、スケール部１３は、入力判定部１１から入力されたスケール値Ｓ_nに従い、ベクトルメモリ１２から読み出したベクトルを拡縮し、動きベクトル算出部１４へ予測ベクトルとして出力する。

動きベクトル算出部１４は、スケール部１３から入力された予測ベクトルと入力された画像フレーム３１、および、内部に保持した１つ過去の画像フレーム３２から、補間画像フレームの生成のための新しい動きベクトルを算出する。算出するベクトルの単位は、例えば８×８画素のブロック毎などでよく、予測ベクトルをオフセットとした周辺の範囲で２枚の画像フレーム間で動きベクトル探索処理を行なう。求めた複数の動きベクトルについて、例えばこれらの平均ベクトルを算出し、画面フレーム全体の動きを表すベクトルとして、次回の予測ベクトルに利用するためにベクトルメモリ１２に格納する。また同時に、これら複数の動きベクトルは、補間画像生成のために補間画像生成部１５に出力する。なお、補間画像フレームのポジションが２枚の画像フレーム間のちょうど真中であるならば、動きベクトルは予め１／２倍して送っても良い。

補間画像生成部１５は、入力判定部１１からの補間処理停止信号が入力されていない限り、動きベクトルと画像フレームが入力される度に、補間画像フレームを生成する。動きベクトルを利用する補間画像フレームの生成処理は、上述の特許文献１に開示されているような公知技術の補間処理で良い。なお、補間画像フレームの生成処理に使用する画像フ
レームが、画像番号ｎのみであるならば、入力される画像フレームをそのまま使用すれば良いし、過去の画像フレームを利用するならば、内部で１画像フレーム分以上を保持するフレームメモリを搭載し、ここに保持して利用すれば良い。

次に、本発明の第１の実施の形態における入力判定部１１、スケール部１３、動きベクトル算出部１４および補間画像生成部１５の各部が実行する各処理の流れについて、フローチャートを用いて説明する。

図４は、本発明の第１の実施の形態における入力判定部１１が実行する入力判定処理の流れを示すフローチャートである。
入力判定部１１は、まず、ステップＳ４１において、画像フレームの入力があったか否かを判断する。

画像フレームの入力があったと判断された場合（ステップＳ４１：Ｙ）は、ステップＳ４２において、ステップＳ４１で入力された画像フレームの画像番号、入力時刻および表示時刻を含む画像情報を、入力画像管理テーブルとしてテーブルメモリに格納する。

そして、ステップＳ４３において、ステップＳ４１で入力された画像フレームとその１つ前の画像フレームとの画像間隔Ｔ_n、および当該１つ前の画像フレームとさらにその１つ前の画像フレームとの画像間隔Ｔ_n-1を算出し、ステップＳ４４において、画像間隔Ｔ_nと画像間隔Ｔ_n-1との比を示すスケール値Ｓ_nを算出し、その算出結果であるスケール値Ｓ_nをスケール部１３へ出力し、ステップＳ４１に戻って入力判定処理を繰り返す。

他方、画像フレームの入力がなかったと判断された場合（ステップＳ４１：Ｎ）は、ステップＳ４５において、当該１つ過去の画像フレームの画像番号ｎ−１の入力時刻

と現在時刻との差Ｔ_dを監視し、予め定めた閾値Ｔ_thに対してＴ_d＞Ｔ_thの関係が成り立つか否かを判断し、成り立つと判断された場合（ステップＳ４５：Ｙ）は、ステップＳ４６において、補間画像生成部１５に対して制御信号の一形態としての補間処理停止信号を出力し、ステップＳ４１に戻って入力判定処理を繰り返す。また、Ｔ_d＞Ｔ_thの関係が成り立たないと判断された場合（ステップＳ４５：Ｎ）は、そのままステップＳ４１に戻って入力判定処理を繰り返す。

図５は、本発明の第１の実施の形態におけるスケール部１３が実行するスケール処理の流れを示すフローチャートである。
スケール部１３は、まず、ステップＳ５１において、入力判定部１１からスケール値Ｓ_nの入力があったか否かを判断する。

スケール値Ｓ_nの入力がなかったと判断された場合（ステップＳ５１：Ｎ）は、ステップＳ５１に戻ってスケール処理を繰り返す。
他方、スケール値Ｓ_nの入力があったと判断された場合（ステップＳ５１：Ｙ）は、ステップＳ５２において、ベクトルメモリ１２からベクトルメモリ１２に格納されているベクトルを読み出し、ステップＳ５３において、ステップＳ５２で読み出したベクトルにステップＳ５１入力されたスケール値Ｓ_nを乗算することにより拡縮する。

そして、ステップＳ５４において、ステップＳ５３で乗算した結果を予測ベクトルとし
て動きベクトル算出部１４へ出力し、ステップＳ５１に戻ってスケール処理を繰り返す。
図６は、本発明の第１の実施の形態における動きベクトル算出部１４が実行する動きベクトル算出処理の流れを示すフローチャートである。

動きベクトル算出部１４は、まず、ステップＳ６１において、画像フレームの入力とスケール部１３からの予測ベクトルの入力があったか否かを判断する。
画像フレームおよび予測ベクトルの入力がなかったと判断された場合（ステップＳ６１：Ｎ）は、ステップＳ６１に戻って動きベクトル算出処理を繰り返す。

他方、画像フレームおよび予測ベクトルの入力があったと判断された場合（ステップＳ６１：Ｙ）は、ステップＳ６２において、入力された画像フレームおよび予測ベクトルに基づいて、１つ前の画像フレームと入力された画像フレームとの間に補間する仮想フレームを作成するためのブロック単位の動きベクトルを算出し、ステップＳ６３において、算出された動きベクトルと入力された画像フレームとを補間画像生成部１５へ出力する。

そして、ステップＳ６４において、スケール部１３でのスケール処理に用いるために、ブロック毎に算出した動きベクトルの平均値をベクトルメモリ１２に格納するとともに、ステップＳ６５において、入力された画像フレームをフレームバッファに格納し、ステップＳ６１に戻って動きベクトル算出処理を繰り返す。

図７は、本発明の第１の実施の形態における補間画像生成部１５が実行する補間画像生成処理の流れを示すフローチャートである。
補間画像生成部１５は、まず、ステップＳ７１において、入力判定部１１から出力された（図４のステップＳ４６参照）補間処理停止信号を受信したか否かを判断し、補間処理停止信号を受信していないと判断された場合（ステップＳ７１：Ｎ）は、ステップＳ７３に進む。

他方、補間処理停止信号を受信したと判断された場合（ステップＳ７１：Ｙ）は、ステップＳ７２において、補間処理の停止状態に遷移し、ステップＳ７３において、画像フレームの入力と動きベクトル算出部１４からの動きベクトルの入力があったか否かを判断する。

画像フレームおよび動きベクトルの入力がなかったと判断された場合（ステップＳ７３：Ｎ）は、ステップＳ７１に戻って補間画像生成処理を繰り返す。
他方、画像フレームおよび動きベクトルの入力があったと判断された場合（ステップＳ７３：Ｙ）は、ステップＳ７４において、補間処理の停止状態であるか否かを判断し、停止状態であると判断された場合（ステップＳ７４：Ｙ）は、ステップＳ７５において、補間処理の停止状態を解除して、ステップＳ７８に進む。

また、ステップＳ７４で補間処理の停止状態でないと判断された場合（ステップＳ７４：Ｎ）は、ステップＳ７６において、バッファ内に格納されている過去の画像フレーム、最新の入力画像フレームおよび入力された動きベクトルに基づいて、補間する仮想フレームを作成し、ステップＳ７７において、その補間する仮想フレームに再生すべき時刻情報を付加して表示部に対して出力する。さらに、ステップＳ７８において、入力される画像フレームの出力とバッファメモリへの格納を実行し、ステップＳ７１に戻って補間画像生成処理を繰り返す。

次に、第２の実施の形態について説明する。
本発明の第２の実施の形態は、例えば液晶パネル等の表示デバイスでの表示フレームレートに比べて、動画像自体のフレームレートがより低速な場合を想定している。

一般に、表示デバイスは、表示フレームレートと画像の入力間隔（サンプリング間隔）が一定かつ一致しており、このサンプリング間隔は、動画像自体の基本的なフレーム間隔と完全に一致しているか、もしくは十分に短い事が望ましい。しかしながら、これに当てはまらないケースもある。

図８は、デコードフレームレートと表示フレームレートとの関係を示す図である。
図８に示した関係は、例えばワンセグ放送のような、低速なフレームレートでデコード生成される動画像と、その動画像を表示する表示デバイス側のフレームレートの関係を示している。前述の通り、とりわけ携帯端末においては、サービスにおけるフレームレートの最大値のみが規定され、実際のフレームレートや、画像フレームと画像フレームの間隔はエンコーダの自由とされることがある。図８に示した例はそのようなケースである。

図８（ａ）においては、１秒の間に１２枚の画像フレームがあるが、これら画像フレームの間隔には揺らぎがある。この揺らぎは、エンコーダの発生する情報量に応じてなされるビットレート制御により、符号化装置側にある撮像デバイスから入力される画像フレームがスキップされてエンコードされることにより発生する。

このようなケースでも、図８（ｂ）に示したように、表示デバイス側のフレームレートが撮像デバイスでのフレームレート以上に高ければ、エンコーダが付加したタイムスタンプに合わせてデコードした画像フレームを表示デバイスに表示することが可能である。ところが、図８（ｃ）に示したように、低速なフレームレートで表示デバイスを駆動するケースでは、その時間分解能の粗さにより、さらに揺らぎが重畳発生し、それがモーションジャダとなり画質が劣化することになる。

このようなケースでも、入力判定部１１によって表示時刻間隔の揺らぎを把握し、さらに、入力判定部１１が標準フレーム間隔を内部パラメータとして保持することで、図８（ｄ）に示したように、１／２のポジションの補間画像フレームでなく、２／３のポジションの補間画像フレームを生成し、重畳発生した揺らぎを除去し自然な動きを再現することが可能となる。

図９は、デコードフレームの表示時刻と表示デバイスへの入力サンプル時刻との関係を示すである。
例えば、動画像の基準フレームレートが１５ｆｐｓの場合、画像フレームの入力に揺らぎがなければ、Ｔ_nは約６６ｍｓ（これを標準フレーム間隔Ｔ_stdとする。）となる。実際には、Ｔ_nは揺らぐため、図９に示したように、スケール値Ｓ_nは１もしくは１.５となる。第１の実施の形態で説明した、算出される補間用の動きベクトルは、ちょうど真中の補間画像フレームの生成であったため１／２倍としたが、本第２の実施の形態では、補間画像フレームのポジションに応じて、１／３倍もしくは２／３倍して、補間画像生成部１５に送られる。また、入力判定部１１から補間画像生成部１５への指示は、第１の実施の形態のような補間処理のオンオフだけでなく、入力画像フレームの通過停止も行なう。例えば、時刻

の入力画像フレームは、標準フレームレートのタイミングから外れるため、入力判定部１１の指示により補間画像生成部１５からは出力しない。

以上説明した第２の実施の形態は、動画像データの各画像フレームに付加されている表示すべき時刻間隔が、表示デバイスの表示間隔に一致しないことから起こるモーションジャダを、画像フレームの補間処理の応用で解決する例であるが、さらに、毎入力画像フレームのうちの２枚の画像フレームから間の１枚の補間フレームを生成してフレームレートを向上する、第１の実施の形態と組み合わせても良い。

また、第１の実施の形態で説明したように、低速なフレームレートを補うためにフレームレート変換を行ない、デコーダの生成する画像フレームに応じて補間画像フレームを生成する事により、フレームレートが低いことに起因する動きのぎこちなさを補うことができるが、本第２の実施の形態においても表示デバイスの表示フレームレートおよび入力画像フレームのサンプリング間隔が適切である事が前提となる。

また、表示デバイスの入力サンプリング間隔が広い場合、表示デバイス内部で補間画像フレームを生成してフレームレートを高めても、低いフレームレートで取り込んだことで重畳発生した揺らぎを取り除くことは出来ず、それによる画質劣化は修復不可能である。そこで、本第２の実施の形態のように、表示デバイスの表示間隔に合わせた補間画像フレームの生成を行なった上で、第１の実施の形態のようなフレーム補間をさらに行なうことで、モーションジャダの発生しない高品質な動画像を生成することができる。

次に、第３の実施の形態について説明する。
本発明の第３の実施の形態は、一定時間画像フレームが入力されない場合に、外挿補間に切り替えて補間画像フレームを作成する例である。

第１の実施の形態においては、１つ過去の画像フレームの入力時刻と現在時刻との差Ｔ_dを監視し、予め定めた閾値Ｔ_thに対してＴ_d＞Ｔ_thの関係が成り立つ場合に、補間画像生成部１５に対して制御信号の一形態としての補間処理停止信号を出力していたが、本第３の実施の形態では、１つ過去の画像フレームの入力時刻と現在時刻との差Ｔ_dが予め定めた閾値Ｔ_th2に対してＴ_d＞Ｔ_th2の関係となった場合に、表示部への出力が目標フレーム間隔となるよう、外挿による補間制御を行なうモード（ここでは外挿補間モードと呼ぶ）に状態遷移する。

図１０は、本発明の第３の実施の形態にかかるフレーム補間装置の基本構成を示す図であり、図１１は、閾値Ｔ_th2と外挿補間フレームｆ₁およびｆ₂の関係を示す図である。
図１０において、図１を用いて説明した第１の実施の形態にかかるフレーム補間装置の基本構成と同様の基本構成については、同一の符号を付し、説明を一部省略している。

外挿補間モードの場合、入力判定部１０１では、内部パラメータで保持する目標フレームレートから外挿補間すべき画像フレームの距離を求め、この距離に応じて過去に求めたベクトルをスケーリングするよう、スケール部１３にスケール値をセットする。例えば、１５ｆｐｓの動画像をフレーム補間によって３０ｆｐｓに変換する場合、目標フレームレートの３０ｆｐｓからフレーム間隔が約３３ｍｓとなるので、これがフレーム距離の単位となる。

図７に示した外挿補間フレームｆ₁を、画像フレームＦ_n-1と画像フレームＦ_n-2とから過去に求めたベクトルＶ、および画像フレームＦ_n-1を用いて外挿生成する場合、スケール値Ｓ_nは

とし、外挿補間フレームｆ₂の補間ならば

とする。
動きベクトル算出部１０４は、通常は第１の実施の形態の動きベクトル算出部１４と同様、２枚の画像フレームからベクトル探索を行なうが、入力判定部１０１からの制御信号によって外挿補間モードで動作している場合、過去の画像フレームは１枚しかないため、過去に求めた予測ベクトルまたは動きベクトルをベクトルメモリ１２に保持しておき、これを上記スケール値Ｓ_nでスケーリングし、これを補間画像生成部１０５に出力する。

すると、補間画像生成部１０５においては、入力判定部１０１からの制御信号が外挿補間モードの動作指示となり、外挿補間モード中は、入力されたベクトルとその時点で最新の入力画像フレームＦ_n-1から、外挿補間フレームｆ₁およびｆ₂を生成する。

この外挿補間モードは、次に新しい画像フレームが入力されるまでの間継続し、新しい画像フレームＦ_n+1が入力されると解除され、補間画像フレームｆ₃は、例えば第１の実施の形態と同様、その時点の最新の２枚の画像フレーム、すなわち画像フレームＦ_nと画像フレームＦ_n-1から生成すれば良い。

また、入力判定部１０１が表示すべき時刻間隔を常時監視することにより、過去にベクトル算出に用いた画像フレームの表示時刻間隔Ｔ_n-1と、次の補間画像フレームの生成対象である２枚の入力画像フレームの表示時刻間隔Ｔ₂から、表示時刻間隔Ｔ_n-1とＴ_nの距離の差に関わらず、算出済の予測ベクトルをスケール補正するよう、スケール部１３に拡縮を指示することが可能となる。これによって、動きベクトル算出部１０４は常時稼働することが可能となる。

次に、本発明の第３の実施の形態における入力判定部１０１、動きベクトル算出部１０４および補間画像生成部１０５の各部が実行する各処理の流れについて、図１２、図１３、図１４に示したフローチャートを用いて説明する。

図４、図６、図７を用いて説明した第１の実施の形態にかかる入力判定処理、動きベクトル算出処理、補間画像生成処理における各ステップと同様のステップについては、同一のステップ番号を付し、説明を一部省略している。

図１２は、本発明の第３の実施の形態における入力判定部１０１が実行する入力判定処理の流れを示すフローチャートである。
入力判定部１０１は、まず、第１の実施の形態と同様、ステップＳ４１において、画像フレームの入力があったか否かを判断し、画像フレームの入力があったと判断された場合（ステップＳ４１：Ｙ）は、ステップＳ４２において、入力された画像フレームの画像情
報をテーブルメモリに格納し、ステップＳ４３において、画像間隔Ｔ_n、Ｔ_n-1を算出する。

次に、本第３の実施の形態の場合は、ステップＳ１２１において、ステップＳ１２２以降で用いる変数Ｎ、Ｔ_th2を初期化し、ステップＳ４４において、スケール値Ｓ_nを算出、スケール部１３へ出力して、ステップＳ４１に戻って入力判定処理を繰り返す。

他方、画像フレームの入力がなかったと判断された場合（ステップＳ４１：Ｎ）は、ステップＳ１２２において、当該１つ過去の画像フレームの画像番号ｎ−１の入力時刻

と現在時刻との差Ｔ_dを監視し、予め定めた閾値Ｔ_th2に対してＴ_d＞Ｔ_th2の関係が成り立つか否かを判断し、成り立たないと判断された場合（ステップＳ１２２：Ｎ）は、ステップＳ４４へ進む。

また、Ｔ_d＞Ｔ_th2の関係が成り立つと判断された場合（ステップＳ１２２：Ｙ）は、ステップＳ１２３において、動きベクトル算出部１０４に対して制御信号の一形態としての外挿補間画像フレームの作成指示を行なう。

そして、ステップＳ１２４において、標準フレーム間隔Ｔ_stdをＮ倍した値を、最新の画像フレーム（外挿で生成する画像番号ｎ）の再生時刻を設定するためにフレーム間隔Ｔ_nに代入し、Ｎを１インクリメントし、閾値Ｔ_th2に標準フレーム間隔Ｔ_stdを加算した値を新たな閾値Ｔ_th2とし、ステップＳ１２５において、Ｔ_nを補間画像生成部１０５に対して出力してステップＳ４４に進む。

図１３は、本発明の第３の実施の形態における動きベクトル算出部１０４が実行する動きベクトル算出処理の流れを示すフローチャートである。
動きベクトル算出部１０４は、まず、ステップＳ６１において、スケール部１３からの予測ベクトルの入力があったか否かを判断し、ステップＳ６２において、画像フレームの入力があったか否かを判断する。

予測ベクトルの入力がなかったと判断された場合（ステップＳ１３１：Ｎ）は、ステップＳ１３１に戻って動きベクトル算出処理を繰り返す。
他方、予測ベクトルの入力があったと判断され（ステップＳ１３１：Ｙ）、かつ、画像フレームの入力があったと判断された場合（ステップＳ１３２：Ｙ）は、すなわち、第１の実施の形態において、画像フレームおよび予測ベクトルの入力があったと判断された場合（ステップＳ６１：Ｙ）と同様、ステップＳ６２において、入力された画像フレームおよび予測ベクトルに基づいて、仮想フレームを作成するためのブロック単位の動きベクトルを算出し、ステップＳ６３において、算出された動きベクトルと入力された画像フレームとを補間画像生成部１５へ出力する。

そして、ステップＳ６４において、スケール部１３でのスケール処理に用いるために、ブロック毎に算出した動きベクトルの平均値をベクトルメモリ１２に格納するとともに、ステップＳ６５において、入力された画像フレームをフレームバッファに格納し、ステップＳ６１に戻って動きベクトル算出処理を繰り返す。

もう一方、予測ベクトルの入力はあったと判断され（ステップＳ１３１：Ｙ）、かつ、
画像フレームの入力はなかった場合（ステップＳ１３２：Ｎ）は、ステップＳ１３３において、外挿補間モードになっているか否か、すなわち、図１２のステップＳ１２３で入力制御部１０１から制御信号の一形態としての外挿補間画像フレームの作成指示があったか否かを判断する。

外挿補間モードでないと判断された場合（ステップＳ１３３：Ｎ）は、ステップＳ６１に戻って動きベクトル算出処理を繰り返し、外挿補間モードであると判断された場合（ステップＳ１３３：Ｙ）は、ステップＳ１３４において、入力された予測ベクトルとフレームバッファ内に格納されている過去の画像フレームを補間画像生成部１０５に対して出力してからステップＳ６１に戻って動きベクトル算出処理を繰り返す。

図１４は、本発明の第３の実施の形態における補間画像生成部１０５が実行する補間画像生成処理の流れを示すフローチャートである。
補間画像生成部１０５は、まず、ステップＳ１４１において、入力判定部１０１からの外挿補間モードの動作指示（制御信号）があったか否かを判断し、外挿補間モードの動作指示があったと判断された場合（ステップＳ１４１：Ｙ）は、ステップＳ１４２において、外挿補間モードに状態遷移する。

そして、続くステップＳ７３において、画像フレームの入力と動きベクトル算出部１４からの動きベクトルの入力があったか否かを判断し、画像フレームおよび動きベクトルの入力がなかったと判断された場合（ステップＳ７３：Ｎ）は、ステップＳ７１に戻って補間画像生成処理を繰り返す。

他方、画像フレームおよび動きベクトルの入力があったと判断された場合（ステップＳ７３：Ｙ）は、ステップＳ１４３において、外挿補間状態であるか否かを判断し、外挿補間状態であると判断された場合（ステップＳ１４３：Ｙ）は、ステップＳ１４４において、入力された画像フレームと動きベクトル算出部１４から入力された動きベクトルとに基づいて、外挿補間画像フレームを生成する。

そして、ステップＳ１４５において、入力された画像フレームの再生時刻と時刻差Ｔ_nとの和を、真に再生すべき時刻として補間画像フレームに付加して表示部に出力した後、ステップＳ１４６において、外挿補間状態を解除して、ステップＳ７１に戻って補間画像生成処理を繰り返す。

また、ステップＳ１４３で外挿補間処理の停止状態でないと判断された場合（ステップＳ１４３：Ｎ）は、第１の実施の形態と同様、ステップＳ７６において、仮想フレームを作成し、ステップＳ７７において、その仮想フレームに再生すべき時刻情報を付加して表示部に対して出力し、さらに、ステップＳ７８において、画像フレームの出力とバッファメモリへの格納を実行し、ステップＳ７１に戻って補間画像生成処理を繰り返す。

以上、本発明の実施の形態を、図面を参照しながら説明してきたが、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

例えば、上述の各実施の形態は、主として動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置について説明したが、本発明は、フレーム補間装置のコンピュータにおいて実行されるフレーム補間プログラムとしても実現可能であり、これらフレーム補間装置またはフレーム補間プログラムを搭載した携帯電話、カーナビゲーションシステムまたは固定電話のような端末としても実現可能である。

本発明の第１の実施の形態にかかるフレーム補間装置の基本構成を示す図である。 入力判定部が保持する入力画像管理テーブルの例を示す図である。 画像フレームの入力時刻と入力間隔との関係を示す図である。 本発明の第１の実施の形態における入力判定部が実行する入力判定処理の流れを示すフローチャートである。 本発明の第１の実施の形態におけるスケール部が実行するスケール処理の流れを示すフローチャートである。 本発明の第１の実施の形態における動きベクトル算出部が実行する動きベクトル算出処理の流れを示すフローチャートである。 本発明の第１の実施の形態における補間画像生成部が実行する補間画像生成処理の流れを示すフローチャートである。 デコードフレームレートと表示フレームレートとの関係を示す図である。 デコードフレームの表示時刻と表示デバイスへの入力サンプル時刻との関係を示すである。 本発明の第３の実施の形態にかかるフレーム補間装置の基本構成を示す図である。 閾値Ｔ_th2と外挿補間フレームｆ₁およびｆ₂の関係を示す図である。 本発明の第３の実施の形態における入力判定部が実行する入力判定処理の流れを示すフローチャートである。 本発明の第３の実施の形態における動きベクトル算出部が実行する動きベクトル算出処理の流れを示すフローチャートである。 本発明の第３の実施の形態における補間画像生成部が実行する補間画像生成処理の流れを示すフローチャートである。

符号の説明

１１ 入力判定部
１２ ベクトルメモリ
１３ スケール部
１４ 動きベクトル算出部
１５ 補間画像生成部
３１ 最新の画像フレーム
３２ １つ過去の画像フレーム
３３ さらに１つ過去の画像フレーム
１０１ 入力判定部
１０４ 動きベクトル算出部
１０５ 補間画像生成部

Claims (10)

1. 入力判定手段、補間画像生成手段、動きベクトル算出手段、ベクトルメモリおよびスケール手段を備え、動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置において、
   前記入力判定手段は、入力された画像フレームの画像間隔に応じて、前記補間画像生成手段の画像生成制御および前記スケール手段へのベクトル拡縮指示を行ない、
   前記スケール手段は、前記拡縮指示に応じてベクトルメモリから読み出したベクトルを拡縮し、予測ベクトルとして前記動きベクトル算出手段へ出力し、
   前記動きベクトル算出手段は、前記スケール算出手段より入力された予測ベクトルと入力された画像フレームとに基づいて、動きベクトルを算出して前記ベクトルメモリおよび前記補間画像生成手段へ出力し、
   前記補間画像生成手段は、前記入力判定手段による動作指示に従って、前記動きベクトル算出手段より入力された動きベクトルと入力された画像フレームとに基づいて、補間画像フレームを生成する、
   ことを特徴とするフレーム補間装置。
2. 前記画像間隔は、前記入力された画像フレームの入力時刻間隔であり、
   前記入力判定手段は、前記入力時刻間隔が所定時間を超えた場合に、前記補間画像生成手段に対して、補間画像フレームの生成処理の実行、停止および出力可否を判断する、
   ことを特徴とする請求項１に記載のフレーム補間装置。
3. 前記画像間隔は、前記入力された画像フレームの表示時刻間隔であり、
   前記入力判定手段は、前記表示時刻間隔の長さに応じて、前記スケール手段へのベクトル拡縮指示を行なう、
   ことを特徴とする請求項１に記載のフレーム補間装置。
4. 動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置において、
   ｎ番目の画像フレームの入力に基づいて、前記ｎ番目の画像フレームの入力時刻および表示時刻を含む画像情報をテーブルメモリに格納し、前記テーブルメモリに格納されたｎ番目の画像フレーム、前記ｎ番目の画像フレームの１つ前に入力されたｎ−１番目の画像フレームおよび前記ｎ−１番目の画像フレームの１つ前に入力されたｎ−２番目の画像フレームの各入力時刻から、前記ｎ−２番目の画像フレームが入力されてから前記ｎ−１番目の画像フレームが入力されるまでの第１の入力間隔に対する前記ｎ−１番目の画像フレームが入力されてから前記ｎ番目の画像フレームが入力されるまでの第２の入力間隔の比を示すスケール値を算出するとともに、前記ｎ−１番目の画像フレームの入力時刻から現在時刻までの時間が所定時間を超えても前記ｎ番目の画像フレームが入力されない場合に、前記仮想フレームの作成を停止させるための補間処理停止信号を出力する入力判定手段と、
   前記入力判定手段によって算出されたスケール値およびベクトルメモリから読み出した前記ｎ−２番目の画像フレームから前記ｎ−１番目の画像フレームへの動きベクトルに基づいて、予測ベクトルを算出するスケール手段と、
   前記入力されたｎ番目の画像フレーム、ｎ−１番目の画像フレームおよび前記スケール手段によって算出された予測ベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成するための動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトル算出手段によって算出された動きベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成し、前記入力判定手段によって出力された補間処理停止信号を受信した場合は、前記仮想フレームを作成しない補間画像生成手段と、
   を備えることを特徴とするフレーム補間装置。
5. 前記補間画像生成手段は、前記入力されたｎ番目の画像フレームおよび前記作成された仮想フレームを表示部へ出力することを特徴とする請求項４に記載のフレーム補間装置。
6. 動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置のコンピュータを、
   ｎ番目の画像フレームの入力に基づいて、前記ｎ番目の画像フレームの入力時刻および表示時刻を含む画像情報をテーブルメモリに格納し、前記テーブルメモリに格納されたｎ番目の画像フレーム、前記ｎ番目の画像フレームの１つ前に入力されたｎ−１番目の画像フレームおよび前記ｎ−１番目の画像フレームの１つ前に入力されたｎ−２番目の画像フレームの各入力時刻から、前記ｎ−２番目の画像フレームが入力されてから前記ｎ−１番目の画像フレームが入力されるまでの第１の入力間隔に対する前記ｎ−１番目の画像フレームが入力されてから前記ｎ番目の画像フレームが入力されるまでの第２の入力間隔の比を示すスケール値を算出するとともに、前記ｎ−１番目の画像フレームの入力時刻から現在時刻までの時間が所定時間を超えても前記ｎ番目の画像フレームが入力されない場合に、前記仮想フレームの作成を停止させるための補間処理停止信号を出力する入力判定手段、
   前記入力判定手段によって算出されたスケール値およびベクトルメモリから読み出した前記ｎ−２番目の画像フレームから前記ｎ−１番目の画像フレームへの動きベクトルに基づいて、予測ベクトルを算出するスケール手段、
   前記入力されたｎ番目の画像フレーム、ｎ−１番目の画像フレームおよび前記スケール手段によって算出された予測ベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成するための動きベクトルを算出する動きベクトル算出手段、
   前記動きベクトル算出手段によって算出された動きベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成し、前記入力判定手段によって出力された補間処理停止信号を受信した場合は、前記仮想フレームを作成しない補間画像生成手段、
   として機能させるためのフレーム補間プログラム。
7. 動画像を構成する２つの画像フレームの間に仮想フレームを作成するフレーム補間装置において実行されるフレーム補間方法であって、
   ｎ番目の画像フレームの入力に基づいて、前記ｎ番目の画像フレームの入力時刻および表示時刻を含む画像情報をテーブルメモリに格納し、前記テーブルメモリに格納されたｎ番目の画像フレーム、前記ｎ番目の画像フレームの１つ前に入力されたｎ−１番目の画像フレームおよび前記ｎ−１番目の画像フレームの１つ前に入力されたｎ−２番目の画像フレームの各入力時刻から、前記ｎ−２番目の画像フレームが入力されてから前記ｎ−１番目の画像フレームが入力されるまでの第１の入力間隔に対する前記ｎ−１番目の画像フレームが入力されてから前記ｎ番目の画像フレームが入力されるまでの第２の入力間隔の比を示すスケール値を算出するとともに、前記ｎ−１番目の画像フレームの入力時刻から現在時刻までの時間が所定時間を超えても前記ｎ番目の画像フレームが入力されない場合に、前記仮想フレームの作成を停止させるための補間処理停止信号を出力し、
   前記算出されたスケール値およびベクトルメモリから読み出した前記ｎ−２番目の画像フレームから前記ｎ−１番目の画像フレームへの動きベクトルに基づいて、予測ベクトルを算出し、
   前記入力されたｎ番目の画像フレーム、ｎ−１番目の画像フレームおよび前記算出された予測ベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ番目の画像フレームとの間に補間する仮想フレームを作成するための動きベクトルを算出し、
   前記算出された動きベクトルに基づいて、前記ｎ−１番目の画像フレームと前記入力されたｎ１番目の画像フレームとの間に補間する仮想フレームを作成し、前記出力された補間処理停止信号を受信した場合は、前記仮想フレームを作成しない、
   ことを特徴とするフレーム補間方法。
8. 請求項１乃至５の何れか１項に記載のフレーム補間装置を備えることを特徴とする端末。
9. 請求項６に記載のフレーム補間プログラムを実行することを特徴とする端末。
10. 請求項７に記載のフレーム補間方法を実行することを特徴とする端末。