JPWO2008136116A1 - 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体 - Google Patents

Abstract

表示装置（１００）の内挿フレーム作成制御装置（１４０）は、入力フレーム毎に動きを検出して、入力映像検出ベクトルとして取得する。この入力映像検出ベクトルＶに連続性がある場合に、内挿距離適応ゲインを増やし、連続性がない場合に減らす処理をする。所定の出力フレームの出力同期タイミングとの間隔が最も短くなる入力同期タイミングの入力フレームを認識し、これらの間隔である内挿距離を出力同期タイミングの間隔で除した値を、内挿距離割合として算出する。入力映像検出ベクトルと、内挿距離適応ゲインと、内挿距離認識割合と、周波数比と、を乗じることにより入力映像使用ベクトルを設定し、この入力映像使用ベクトルに基づく動き量の内挿フレームをベクトルフレームレート変換処理部（１５０）に作成させる。

Description

本発明は、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。

従来、複数のフレームからなる入力映像のフレームレートを変換する構成として、以下のようなベクトルフレームレート変換技術が知られている。
すなわち、入力信号のフレームレートおよび出力信号のフレームレートが異なる場合に、入力フレーム間の動きベクトルを取得する。そして、この動きベクトルに基づき入力フレーム間に内挿する内挿フレームを作成して、動画の動きを滑らかにする技術が知られている。

このベクトルフレームレート変換技術では、例えば、図１に示すように、２４Ｈｚの入力垂直同期信号に基づき入力される入力フレームＦ（以下、適宜、ａ番目の入力フレームを入力フレームＦaと称す）からなる入力映像を、６０Ｈｚの出力垂直同期信号に基づき出力される複数の出力フレームＨ（以下、適宜、ｂ番目の出力フレームを出力フレームＨbと称す）からなる出力画像にフレームレート変換する際に、入力垂直同期信号の周波数を出力垂直同期信号の周波数で除した値を、周波数比として算出する。ここで、図１に示すような場合、周波数比は、０．４（＝２４／６０＝２／５）となる。そして、この周波数比に基づいて、２個の入力フレームＦから５個の出力フレームＨを作成すると認識する。
出力フレームＨを作成する際には、入力フレームＦaおよび入力フレームＦ(a+1)における所定のオブジェクトＺの動きを検出できるか否かを判断し、検出できた場合、この動きを（ａ＋１）番目の入力映像検出ベクトルＶ(a+1)（以下、適宜、入力映像検出ベクトルＶと称す）として取得する。
また、所定の出力フレームＨの出力同期タイミングとの間隔が最も短くなる入力同期タイミングの入力フレームＦを認識するとともに、これら出力同期タイミングおよび入力同期タイミングの間隔を内挿距離として認識する。さらに、この内挿距離を出力同期タイミングの間隔で除した値を、内挿距離割合として算出する。ここで、内挿距離割合は、出力フレームＨの出力同期タイミングが前の入力フレームＦの入力同期タイミングと近い場合に正の値となり、後ろの入力フレームＦの入力同期タイミングと近い場合に負の値となる。また、内挿距離割合は、出力フレームＨの出力同期タイミングと入力同期タイミングが等しい入力フレームＦが存在する場合、０となる。

そして、内挿距離割合が０の場合、入力フレームＦを、出力フレームＨとして適用する。
また、内挿距離割合が正の値であり、かつ、入力映像検出ベクトルＶ(a+1)を取得できた場合、入力映像検出ベクトルＶ(a+1)に、内挿距離割合と、周波数比と、を乗じてｃ番目の入力映像使用ベクトルＪcを求める。そして、入力フレームＦaに対して、オブジェクトＺが入力映像使用ベクトルＪcに対応する量だけ動いた内挿フレームＧcを作成し、出力フレームＨとして適用する。一方、内挿距離割合が正の値であり、かつ、入力映像検出ベクトルＶ(a+1)を取得できない場合、入力フレームＦaや入力フレームＦ(a+1)を、そのまま出力フレームＨとして適用する。
さらに、内挿距離割合が負の値であり、かつ、入力映像検出ベクトルＶ(a+1)を取得できた場合、入力映像検出ベクトルＶ(a+1)に、内挿距離割合と、周波数比と、を乗じて入力映像使用ベクトルＪcを求める。そして、入力映像使用ベクトルＪcに基づきオブジェクトＺが動いた内挿フレームＧcを作成し、出力フレームＨとして適用する。一方、内挿距離割合が負の値であり、かつ、入力映像検出ベクトルＶ(a+1)を取得できない場合、入力フレームＦaや入力フレームＦ(a+1)を、そのまま出力フレームＨとして適用する。

例えば、図１に示すように、入力映像検出ベクトルＶ6，Ｖ7，Ｖ8，Ｖ9を全て取得できた第１の状態の場合、入力フレームＦ5を、出力フレームＨ11として適用する。また、入力映像検出ベクトルＶ6に内挿距離割合である１と、周波数比と、を乗じて入力映像使用ベクトルＪ9を求め、入力フレームＦ5に対して、オブジェクトＺが入力映像使用ベクトルＪ9に対応する量だけ動いた内挿フレームＧ9を、出力フレームＨ12として適用する。さらに、入力映像検出ベクトルＶ6に内挿距離割合である−０．５０と、周波数比と、を乗じて入力映像使用ベクトルＪ10を求め、入力フレームＦ6に対して、オブジェクトＺが入力映像使用ベクトルＪ10に対応する量だけ動いた内挿フレームＧ10を、出力フレームＨ13として適用する。
このような処理により、出力フレームＨは、オブジェクトＺが入力映像検出ベクトルＶに対応するベクトル対応線Ｔに沿って動くスムース領域となるように、フレームレート変換される。

また、フレームレートを変換する他の構成が知られている（例えば、特許文献１参照）。
この特許文献１に記載のものは、前フレームと前々フレームとの間の平滑後の動き量（以下、過去のフレーム間の動き量と称す）と、現フレームと前フレームとの暫定の動き量（以下、現在のフレーム間の動き量と称す）と、に基づいて、現フレームと前フレームとの間の平滑後の動き量を算出し、この算出した現フレームと前フレームとの間の平滑後の動き量に基づいて、予想画像、つまり内挿フレームを生成し、この内挿フレームを出力画像として出力することによりフレームレートを変換する構成が採られている。

特開２００６−３０４２６６号公報

しかしながら、上述したようなベクトルフレームレート変換技術では、以下のようなことが考えられる。
すなわち、例えば、図２に示すように、入力映像検出ベクトルＶ6，Ｖ7を取得できず、かつ、入力映像検出ベクトルＶ8，Ｖ9を取得できた第２の状態の場合、入力フレームＦ5が出力フレームＨ11，Ｈ12として、入力フレームＦ6が出力フレームＨ13，Ｈ14として、入力フレームＦ7が出力フレームＨ15，Ｈ16として、それぞれ適用されてしまう。つまり、出力フレームＨ11〜Ｈ15は、オブジェクトＺがベクトル対応線Ｔに沿わずに動く部分を含む非スムース領域となり、出力フレームＨ16以降は、スムース領域となるようにフレームレート変換されてしまう。ここで、非スムース領域とは、本来、出力フレームＨごとに少しずつ変化すべき出力映像が、複数の出力フレームＨごとに変化する領域のことである。
さらに、例えば、図３に示すように、入力映像検出ベクトルＶ7を取得できず、かつ、入力映像検出ベクトルＶ6，Ｖ8，Ｖ9を取得できた第３の状態の場合、入力フレームＦ6が出力フレームＨ14として、入力フレームＦ7が出力フレームＨ15として、それぞれ適用されてしまう。つまり、出力フレームＨ14〜Ｈ16は、非スムース領域となり、出力フレームＨ11〜Ｈ13、および、出力フレームＨ17以降は、スムース領域となるようにフレームレート変換されてしまう。
このため、図２および図３に示すような場合には、非スムース領域と、スムース領域との差が大きく、不自然な出力映像となってしまうおそれがある。
また、例えば、図４に示すように、終点が入力映像検出ベクトルＶ8の起点と一致しない異常な入力映像検出ベクトルＶ7を取得でき、かつ、正常な入力映像検出ベクトルＶ6、Ｖ8，Ｖ9を取得できた第４の状態の場合、この異常な入力映像検出ベクトルＶ7に内挿距離割合を乗じることにより、入力映像使用ベクトルＪ11，Ｊ12が求められてしまう。そして、オブジェクトＺが、入力映像使用ベクトルＪ11，Ｊ12に対応する量だけ移動し、かつ、入力映像使用ベクトルＪ11，Ｊ12に対応する量だけサイズが変更された内挿フレームＧ11，Ｇ12が作成され、出力フレームＨ14，Ｈ15として適用されてしまう。
このため、図４に示すような場合には、出力フレームＨ14，Ｈ15は、実際の映像の動きとの誤差が大きい映像破綻領域となり、映像が破綻してしまうおそれがある。

また、特許文献１のような構成では、過去のフレーム間の動き量と、現在のフレーム間の動き量と、に基づいて、内挿フレームを作成するため、過去のフレーム間の動き量および現在のフレーム間の動き量が一次独立であるとき、すなわち平行でないベクトル関係のとき、内挿フレームでの動き量が歪んでしまい、出力映像の実際の動きと合わなくなるおそれがある。

本発明の目的は、フレームレート変換する際に入力フレームの間に内挿される内挿フレームを適切に作成させる内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。

本発明の内挿フレーム作成制御装置は、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御装置であって、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの作成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、前記内挿フレームの作成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれに対応する前記動きベクトルの連続性が所定レベルよりも高い場合、所定値に設定された内挿距離適応ゲインの値を大きくし、前記連続性が前記所定レベルよりも低い場合、前記内挿距離適応ゲインの値を小さくする内挿距離適応ゲイン制御部と、前記内挿距離および前記内挿距離適応ゲインに基づいて、前記内挿フレームの作成に利用される前記入力フレームの前記動きベクトルの大きさを調整して内挿フレームベクトルを設定し、この内挿フレームベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させる内挿フレームベクトル設定部と、を具備したことを特徴とする。

本発明のフレームレート変換装置は、上述した内挿フレーム作成制御装置と、前記入力フレームおよび前記内挿フレーム作成制御装置で設定された前記内挿フレームベクトルに基づいて、前記内挿フレームを作成する内挿フレーム作成部と、この内挿フレーム作成部で作成された前記内挿フレームを前記入力フレームの間に内挿して、フレームレート変換した出力映像を表示部で表示させるセレクタと、を具備したことを特徴とする。

本発明の表示装置は、上述したフレームレート変換装置と、このフレームレート変換装置の制御により前記フレームレートが変換された前記出力映像を表示する表示部と、を具備したことを特徴とする。

本発明の内挿フレーム作成制御方法は、演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、前記演算手段は、前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの作成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、前記内挿フレームの作成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれに対応する前記動きベクトルの連続性が所定レベルよりも高い場合、所定値に設定された内挿距離適応ゲインの値を大きくし、前記連続性が前記所定レベルよりも低い場合、前記内挿距離適応ゲインの値を小さくする内挿距離適応ゲイン制御工程と、前記内挿距離および前記内挿距離適応ゲインに基づいて、前記内挿フレームの作成に利用される前記入力フレームの前記動きベクトルの大きさを調整して内挿フレームベクトルを設定し、この内挿フレームベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させる内挿フレームベクトル設定工程と、を実施することを特徴とする。

本発明の内挿フレーム作成制御プログラムは、上述した内挿フレーム作成制御方法を演算手段に実行させることを特徴とする。

本発明の内挿フレーム作成制御プログラムは、演算手段を上述した内挿フレーム作成制御装置として機能させることを特徴とする。

本発明の内挿フレーム作成制御プログラムを記録した記録媒体は、上述した内挿フレーム作成制御プログラムが演算手段にて読取可能に記録されたことを特徴とする。

従来のフレームレート変換技術における入力映像検出ベクトルの取得状態が第１の状態のときのフレームレートの変換状態を示す説明図である。 前記従来のフレームレート変換技術における入力映像検出ベクトルの取得状態が第２の状態のときのフレームレートの変換状態を示す説明図である。 前記従来のフレームレート変換技術における入力映像検出ベクトルの取得状態が第３の状態のときのフレームレートの変換状態を示す説明図である。 前記従来のフレームレート変換技術における入力映像検出ベクトルの取得状態が第４の状態のときのフレームレートの変換状態を示す説明図である。 本発明の第１実施形態および第２実施形態に係る表示装置の概略構成を示すブロック図である。 前記第１実施形態における内挿距離適応ゲイン制御部の概略構成を示すブロック図である。 前記第１，第２実施形態における入力映像検出ベクトルの取得状態が第２の状態のときのフレームレートの変換状態を示す説明図である。 前記第１，第２実施形態における入力映像検出ベクトルの取得状態が第３の状態のときのフレームレートの変換状態を示す説明図である。 前記第１，第２実施形態における入力映像検出ベクトルの取得状態が第４の状態のときのフレームレートの変換状態を示す説明図である。 前記第１，第２実施形態におけるフレームレート変換処理を示すフローチャートである。 前記第１実施形態における内挿距離適応ゲイン制御処理を示すフローチャートである。 前記第２実施形態における内挿距離適応ゲイン制御部の概略構成を示すブロック図である。 前記第２実施形態における内挿距離適応ゲイン制御処理を示すフローチャートである。 本発明の他の実施形態における入力映像検出ベクトルの取得動作を示す説明図である。

符号の説明

１００，２００…表示装置
１１０…表示部
１２０，２２０…フレームレート変換装置
１４０，２４０…演算手段としての内挿フレーム作成制御装置
１４１…ベクトル取得部
１４２，２４２…内挿距離適応ゲイン制御部
１４３…内挿距離検出部としての内挿距離割合認識部
１４４，１４５…内挿フレームベクトル設定部を構成する第１，第２の乗算部
１５０…内挿フレーム作成部およびセレクタとしてのベクトルフレームレート変換処理部

［第１実施形態］
以下、本発明に係る第１実施形態を図面に基づいて説明する。
この第１実施形態および後述する第２実施形態では、本発明の内挿フレーム作成制御装置を有するフレームレート変換装置を備えた表示装置であって、外部から入力される複数の入力フレームからなる入力映像のフレームレートを変換した出力映像を表示する構成を例示して説明する。
なお、上述した従来技術と同様の構成については、同一の名称および符号を付し説明を省略または簡略にする。
図５は、表示装置の概略構成を示すブロック図である。図６は、内挿距離適応ゲイン制御部の概略構成を示すブロック図である。図７は、入力映像検出ベクトルの取得状態が第２の状態のときのフレームレートの変換状態を示す説明図である。図８は、入力映像検出ベクトルの取得状態が第３の状態のときのフレームレートの変換状態を示す説明図である。図９は、入力映像検出ベクトルの取得状態が第４の状態のときのフレームレートの変換状態を示す説明図である。

〔表示装置の構成〕
図５において、１００は表示装置であり、この表示装置１００は、表示部１１０と、フレームレート変換装置１２０と、などを備えている。

表示部１１０は、フレームレート変換装置１２０に接続されている。この表示部１１０は、フレームレート変換装置１２０の制御により、フレームレートが変換された出力映像を表示させる。この表示部１１０としては、例えばＰＤＰ（Plasma Display Panel）、液晶パネル、有機ＥＬ（Electro Luminescence）パネル、ＣＲＴ（Cathode-Ray Tube）、ＦＥＤ（Field Emission Display）、電気泳動ディスプレイパネルなどが例示できる。

フレームレート変換装置１２０は、フレームメモリ１３０と、演算手段としての内挿フレーム作成制御装置１４０と、内挿フレーム作成部およびセレクタとしてのベクトルフレームレート変換処理部１５０と、などを備えている。

フレームメモリ１３０は、画像信号を出力する画像信号出力部１０と、内挿フレーム作成制御装置１４０と、ベクトルフレームレート変換処理部１５０と、に接続されている。
このフレームメモリ１３０は、画像信号出力部１０からの画像信号を取得して、この画像信号に基づく入力フレームＦ（例えば、図７参照）を一時的に蓄積し、内挿フレーム作成制御装置１４０およびベクトルフレームレート変換処理部１５０へ適宜出力する。

内挿フレーム作成制御装置１４０は、ベクトルフレームレート変換処理部１５０を制御して、フレームレートの変換時に入力フレームＦ間に内挿される内挿フレームを作成させる。
そして、内挿フレーム作成制御装置１４０は、各種プログラムとして、ベクトル取得部１４１と、内挿距離適応ゲイン制御部１４２と、内挿距離検出部としての内挿距離割合認識部１４３と、第１の乗算部１４４と、第２の乗算部１４５と、などを備えている。
ここで、第１の乗算部１４４および第２の乗算部１４５は、本発明の内挿フレームベクトル設定部を構成している。

ベクトル取得部１４１は、画像信号出力部１０と、フレームメモリ１３０と、内挿距離適応ゲイン制御部１４２と、第２の乗算部１４５と、に接続されている。
このベクトル取得部１４１は、画像信号出力部１０からの画像信号に基づく入力フレームＦ(a+1)と、フレームメモリ１３０で一時的に蓄積された入力フレームＦaと、を取得する。そして、この入力フレームＦ(a+1)，Ｆaの動きを、第１の動きベクトルとしての入力映像検出ベクトルＶ(a+1)、および、第２の動きベクトルとしての図示しないローカルエリアベクトルとして取得する。

具体的には、ベクトル取得部１４１は、入力映像検出ベクトルＶ(a+1)を取得する場合、入力フレームＦ(a+1)の図示しない外縁から所定距離だけ内側の部分以外の部分で構成される１個の動き検出ブロックを設定する。この動き検出ブロックは、複数に分割された複数のローカルエリアから構成されている。つまり、動き検出ブロックは、第１の数の図示しない画素からなる第１のブロックサイズを有している。
そして、ベクトル取得部１４１は、入力フレームＦ(a+1)ごとに、動き検出ブロックにおける動き、つまり入力フレームＦ(a+1)のほぼ全体における動きを１個の入力映像検出ベクトルＶ(a+1)として取得して、内挿距離適応ゲイン制御部１４２および第２の乗算部１４５へ出力する。

ここで、入力映像検出ベクトルＶ(a+1)の取得方法としては、例えば特公昭６２−６２１０９号公報に記載のような方法（以下、パターンマッチング法と称す）や特開昭６２−２０６９８０号公報に記載のような方法（以下、反復勾配法と称す）などが例示できる。
すなわち、パターンマッチング法を利用する場合、入力フレームＦaに対して、入力フレームＦ(a+1)の動き検出ブロックと同数の画素を有し互いに異なる方向に位置がずれた複数のブロック（以下、過去ブロックと称す）を設定する。そして、この複数の過去ブロックから動き検出ブロックと最も相関が高いものを検出し、この検出した過去ブロックおよび動き検出ブロックに基づいて、入力映像検出ベクトルＶ(a+1)を取得する。
また、反復勾配法を利用する場合、動き量を検出する際の初期値として、動き検出ブロックに該当するブロックを含む周辺の複数の過去ブロックにおいてすでに検出されている動きベクトルの候補の中から、入力映像検出ベクトルＶ(a+1)の検出用として最適なものを初期変位ベクトルとして選択する。そして、動き検出ブロックの真の入力映像検出ベクトルＶ(a+1)に近い値から演算を開始することにより、勾配法演算の演算回数を少なくして、真の入力映像検出ベクトルＶ(a+1)を検出する。

また、ベクトル取得部１４１は、各ローカルエリアにおける動きをローカルエリアベクトルとして取得して、内挿距離適応ゲイン制御部１４２へ出力する。つまり、第１の数よりも小さい第２の数の画素からなるローカルエリアにおける動きを検出する。
ここで、ローカルエリアベクトルを取得する際には、入力映像検出ベクトルＶ(a+1)の取得時と同様の処理を実施する。なお、ローカルエリアベクトルの取得処理として、入力映像検出ベクトルＶ(a+1)の取得時とは異なる処理を適用してもよい。

内挿距離適応ゲイン制御部１４２は、第１の乗算部１４４に接続されている。この内挿距離適応ゲイン制御部１４２は、ベクトル取得部１４１で取得した入力映像検出ベクトルＶの連続性に基づいて、あらかじめ所定値に設定された内挿距離適応ゲイン、例えばあらかじめ１に設定された内挿距離適応ゲインを増減させる。なお、内挿距離適応ゲインの初期設定値としては、１に限らず０あるいは０．５などとしてもよい。
そして、内挿距離適応ゲイン制御部１４２は、図６に示すように、ベクトル一致度計数部１４２Ａと、制御量生成部１４２Ｂと、を備えている。

ベクトル一致度計数部１４２Ａは、ベクトル取得部１４１と、制御量生成部１４２Ｂと、に接続されている。
このベクトル一致度計数部１４２Ａは、ベクトル取得部１４１で入力映像検出ベクトルＶを取得できない場合、入力映像検出ベクトルＶの連続性がない、すなわち所定レベルよりも低いと判断する。また、入力映像検出ベクトルＶを取得でき、かつ、この入力映像検出ベクトルＶと一致するローカルエリアベクトルの数が閾値以上の場合、入力映像検出ベクトルＶの連続性がある、すなわち所定レベルよりも高いと判断する。また、入力映像検出ベクトルＶと一致するローカルエリアベクトルの数が閾値未満の場合、入力映像検出ベクトルＶの連続性がないと判断する。

制御量生成部１４２Ｂは、第１の乗算部１４４に接続されている。
この制御量生成部１４２Ｂは、ベクトル一致度計数部１４２Ａで入力映像検出ベクトルＶの連続性があると判断され、かつ、内挿距離適応ゲインが１未満に設定されている場合、内挿距離適応ゲインを所定値だけ増やす処理、例えば０．２５だけ増やす処理をする。例えば、図７に示すように、入力映像検出ベクトルＶ8が取得されて連続性があると判断され、かつ、出力フレームＨ16の出力同期タイミングにおける内挿距離適応ゲインが０に設定されている場合、出力フレームＨ17，Ｈ18に対応する内挿距離適応ゲインを０．２５ずつ順次増やす処理をする。

また、制御量生成部１４２Ｂは、入力映像検出ベクトルＶの連続性がなく、かつ、内挿距離適応ゲインが０よりも大きい値に設定されている場合、内挿距離適応ゲインを所定値だけ減らす処理、例えば０．２５だけ減らす処理をする。例えば、図８に示すように、入力映像検出ベクトルＶ7が取得されていないため連続性がないと判断され、かつ、出力フレームＨ13に対応する内挿距離適応ゲインが１に設定されている場合、出力フレームＨ14，Ｈ15，Ｈ16に対応する内挿距離適応ゲインを０．２５ずつ順次減らす処理をする。

さらに、制御量生成部１４２Ｂは、連続性があり、かつ、内挿距離適応ゲインが１に設定されている場合、あるいは、連続性がなく、かつ、内挿距離適応ゲインが０に設定されている場合、この内挿距離適応ゲインの設定を維持する。例えば、図７に示すように、入力映像検出ベクトルＶ6が取得されていないため連続性がないと判断され、かつ、出力フレームＨ11に対応する内挿距離適応ゲインが０に設定されている場合、出力フレームＨ12，Ｈ13に対応する内挿距離適応ゲインを０で維持する。また、図８に示すように、入力映像検出ベクトルＶ6が取得されて連続性があると判断され、かつ、出力フレームＨ11に対応する内挿距離適応ゲインが１に設定されている場合、出力フレームＨ12，Ｈ13に対応する内挿距離適応ゲインを１で維持する。
つまり、制御量生成部１４２Ｂは、内挿距離適応ゲインを０以上、１以下となるように増減させる。そして、この増減させた内挿距離適応ゲインを、第１の乗算部１４４へ出力する。
なお、内挿距離適応ゲインの増減量としては、０．２５に限らず０．１や０．５などとしてもよい。また、増やす量と、減らす量と、が異なる状態で増減させてもよい。

内挿距離割合認識部１４３は、入力フレームＦの入力垂直同期信号および出力フレームＨの出力垂直同期信号を出力する同期信号出力部２０と、第１の乗算部１４４と、に接続されている。
この内挿距離割合認識部１４３は、上述した従来のベクトルフレームレート変換技術と同様の処理を実施して、内挿距離に基づく内挿距離割合を算出して認識する。すなわち、所定の出力フレームＨの出力同期タイミングとの間隔が最も短くなる入力同期タイミングの入力フレームＦを認識し、これらの間隔である内挿距離を出力同期タイミングの間隔で除した値を、内挿距離割合として算出する。例えば、図７、図８、図９に示すように、出力フレームＨ11，Ｈ12間の内挿距離割合を１と算出し、出力フレームＨ13と、入力フレームＦ6との間の内挿距離割合を−０．５０と算出する。
また、内挿距離割合認識部１４３は、入力垂直同期信号の周波数を出力垂直同期信号の周波数で除して、周波数比を算出する。例えば、図７に示すように、入力フレームＦの周波数が２４Ｈｚであり、出力フレームＨの周波数が６０Ｈｚの場合、周波数比を０．４と算出する。

第１の乗算部１４４は、図５に示すように、第２の乗算部１４５に接続されている。
この第１の乗算部１４４は、内挿距離割合認識部１４３で認識された内挿距離割合と、内挿距離適応ゲイン制御部１４２で設定された内挿距離適応ゲインと、を取得する。そして、これらを乗じて、動きベクトル適応ゲインを算出する。例えば、図７に示すように、内挿距離割合が１で、内挿距離適応ゲインが０．２５の場合、動きベクトル適応ゲインを０．２５と算出する。さらに、第１の乗算部１４４は、動きベクトル適応ゲインに周波数比を乗じる。

第２の乗算部１４５は、図５に示すように、ベクトルフレームレート変換処理部１５０に接続されている。
この第２の乗算部１４５は、ベクトル取得部１４１で取得された入力映像検出ベクトルＶ(a+1)を取得する。また、第１の乗算部１４４で算出され、周波数比が乗じられた動きベクトル適応ゲインを取得する。そして、これらを乗じて、内挿フレームベクトルとしての入力映像使用ベクトルＫc（ｃは自然数）を設定する。例えば、図７に示すように、出力フレームＨ18に対応する動きベクトル適応ゲインが−０．２５の場合、この−０．２５に周波数比０．４が乗じられた値と、入力映像検出ベクトルＶ8と、を乗じて、入力映像使用ベクトルＫ14を設定する。
ここで、従来のベクトルフレームレート変換技術では、内挿距離割合の−０．５に周波数比を乗じた値に入力映像検出ベクトルＶ8を乗じることにより、入力映像使用ベクトルＫ14よりも大きい入力映像使用ベクトルＪ14を設定していた。
つまり、従来、内挿距離割合および周波数比に基づいて、入力映像検出ベクトルＶ(a+1)の大きさを調整した入力映像使用ベクトルＪcを設定していたのに対し、この第１実施形態および後述する第２実施形態では、第１，第２の乗算部１４４，１４５にて、内挿距離割合、周波数比および内挿距離適応ゲインに基づいて、入力映像検出ベクトルＶ(a+1)の大きさを調整した入力映像使用ベクトルＫcを設定する。
また、例えば、図８に示すように、出力フレームＨ14に対応する動きベクトル適応ゲインが０．３７５であり、かつ、入力映像検出ベクトルＶ7を取得できていない場合、これらを乗じると０になるため、入力映像使用ベクトルＫ14を設定しない。

ベクトルフレームレート変換処理部１５０は、図５に示すように、表示部１１０に接続されている。
このベクトルフレームレート変換処理部１５０は、第２の乗算部１４５で設定された入力映像使用ベクトルＫcと、画像信号出力部１０およびフレームメモリ１３０から入力される入力フレームＦと、を取得する。そして、出力フレームＨの出力同期タイミングと入力同期タイミングが等しい入力フレームＦを、出力フレームＨとして表示部１１０で表示させる。例えば、図７に示すように、入力フレームＦ5，Ｆ7，Ｆ9を出力フレームＨ11，Ｈ16，Ｈ21として表示させる。

さらに、入力映像使用ベクトルＫcに基づきオブジェクトＺが動いた内挿フレームＬcを作成する。例えば、図７に示すように、入力映像使用ベクトルＫ14に基づきオブジェクトＺが動いた内挿フレームＬ14を作成する。
ここで、従来のベクトルフレームレート変換技術では、入力映像使用ベクトルＫ14よりも大きい入力映像使用ベクトルＪ14に対応してオブジェクトＺが動いた内挿フレームＧ14を作成していた。これにより、内挿フレームＬ14におけるオブジェクトＺの位置は、内挿フレームＧ14での位置よりも入力フレームＦ8での位置に近くなる。
そして、ベクトルフレームレート変換処理部１５０は、この生成した内挿フレームＬcを出力フレームＨとして表示部１１０で表示させる。
また、入力映像使用ベクトルＫcの大きさが０の場合、出力フレームＨの出力同期タイミングと入力同期タイミングが最も近い入力フレームＦを、出力フレームＨとして表示部１１０で表示させる。例えば、図７に示すように、入力フレームＦ5を出力フレームＨ12として、入力フレームＦ6を出力フレームＨ13，Ｈ14として表示させる。
このような処理により、図７〜図９に示すように、入力映像検出ベクトルＶの取得状態が第２〜第４の状態の場合、入力フレームＦからなる入力映像が出力フレームＨからなる出力映像にフレームレート変換されて、表示される。

〔表示装置の動作〕
次に、表示装置１００の動作として、フレームレート変換処理について説明する。
図１０は、フレームレート変換処理を示すフローチャートである。図１１は、内挿距離適応ゲイン制御処理を示すフローチャートである。

表示装置１００のフレームレート変換装置１２０は、画像信号出力部１０からの画像信号と、同期信号出力部２０からの入力垂直同期信号および出力垂直同期信号と、を取得すると、図１０に示すように、入力映像検出ベクトルＶおよびローカルエリアベクトルを取得する（ステップＳ１０１）。この後、入力垂直同期信号および出力垂直同期信号などに基づいて、内挿距離割合を認識する（ステップＳ１０２）。そして、入力映像検出ベクトルＶの連続性に基づいて、内挿距離適応ゲインの制御をする（ステップＳ１０３）。
さらに、内挿距離割合および内挿距離適応ゲインを乗じて、動きベクトル適応ゲインを演算し（ステップＳ１０４）、この動きベクトル適応ゲインと、入力フレームと、入力映像検出ベクトルＶと、などに基づいて、フレームレート変換処理を実施して（ステップＳ１０５）、出力フレームＨからなる出力映像を表示部１１０で表示させる。

一方、ステップＳ１０３における内挿距離適応ゲインの制御処理では、フレームレート変換装置１２０は、図１１に示すように、入力映像検出ベクトルＶが取得できたか否かを判断する（ステップＳ２０１）。このステップＳ２０１において、取得できなかったと判断した場合、入力映像検出ベクトルＶの連続性がないと判断して、内挿距離適応ゲインを例えば０．２５だけ減らす（ステップＳ２０２）。ここで、このステップＳ２０２において、制御前の内挿距離適応ゲインが０だった場合、−０．２５とせずに０を維持する。
一方、ステップＳ２０１において、入力映像検出ベクトルＶが取得できたと判断した場合、この入力映像検出ベクトルＶと一致するローカルエリアベクトルの数が閾値以上か否かを判断する（ステップＳ２０３）。
そして、ステップＳ２０３において、閾値未満であると判断した場合、入力映像検出ベクトルＶの連続性がないと判断して、ステップＳ２０２の処理をする。また、ステップＳ２０３において、閾値以上であると判断した場合、入力映像検出ベクトルＶの連続性があると判断して、内挿距離適応ゲインを例えば０．２５だけ増やす（ステップＳ２０４）。ここで、このステップＳ２０４において、制御前の内挿距離適応ゲインが１だった場合、１．２５とせずに１を維持する。

そして、上述したような処理により、図２、図３、図４に示すような入力映像検出ベクトルＶの取得状態が第２〜第４の状態の場合における出力映像は、図７、図８、図９に示すようになる。

すなわち、図７に示すように、出力フレームＨ17，Ｈ18，Ｈ19として、入力フレームＦ7，Ｆ8に対するオブジェクトＺの動き量が、図２に示すような内挿フレームＧ13，Ｇ14，Ｇ15よりも小さい内挿フレームＬ13，Ｌ14，Ｌ15を適用した出力映像となる。つまり、出力フレームＨ11〜Ｈ15からなる非スムース領域、および、出力フレームＨ20，Ｈ21からなるスムース領域の間に、出力フレームＨ16〜Ｈ19からなり、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが非スムース領域よりも小さい問題１改善領域が設けられた出力映像となる。
また、図８に示すように、出力フレームＨ17，Ｈ18として、入力フレームＦ7，Ｆ8に対するオブジェクトＺの動き量が、図３に示すような内挿フレームＧ13，Ｇ14よりも小さい内挿フレームＬ13，Ｌ14を適用した出力映像となる。つまり、出力フレームＨ11〜Ｈ13からなるスムース領域、および、出力フレームＨ19〜Ｈ21からなるスムース領域の間に、出力フレームＨ14〜Ｈ18からなり、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが徐々に小さくなる問題２改善領域が設けられた出力映像となる。
さらに、図９に示すように、出力フレームＨ14，Ｈ15，Ｈ17，Ｈ18として、入力フレームＦ6，Ｆ7，Ｆ8に対するオブジェクトＺの動き量が、図４に示すような内挿フレームＧ11，Ｇ12，Ｇ13，Ｇ14よりも小さい内挿フレームＬ11，Ｌ12，Ｌ13，Ｌ14を適用した出力映像となる。つまり、出力フレームＨ11〜Ｈ13からなるスムース領域、および、出力フレームＨ19〜Ｈ21からなるスムース領域の間に、出力フレームＨ14〜Ｈ18からなり、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが非スムース領域よりも小さく、かつ、出力フレームＨ14，Ｈ15のオブジェクトＺのサイズが従来と比べて元のサイズに近い問題３改善領域が設けられた出力映像となる。

〔第１実施形態の作用効果〕
上述したように、上記第１実施形態では、表示装置１００の内挿フレーム作成制御装置１４０は、入力フレームＦごとに動きを検出して、入力映像検出ベクトルＶとして取得する。そして、この入力映像検出ベクトルＶの連続性がある場合に内挿距離適応ゲインを増やし、連続性がない場合に減らす処理をする。所定の出力フレームＨの出力同期タイミングおよび所定の入力フレームＦの入力同期タイミングの間隔である内挿距離を、出力同期タイミングの間隔で除して内挿距離割合を算出する。そして、この内挿距離認識割合と、入力映像検出ベクトルＶと、内挿距離適応ゲインと、周波数比と、を乗じることにより入力映像使用ベクトルＫcを設定し、この入力映像使用ベクトルＫcに基づく動き量の内挿フレームＬcを、ベクトルフレームレート変換処理部１５０に作成させる。
このため、図７に示すように、非スムース領域およびスムース領域の間に、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが非スムース領域よりも小さい問題１改善領域を設けることができる。また、図８に示すように、２個のスムース領域の間に、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが徐々に小さくなる問題２改善領域を設けることができる。したがって、図２および図３に示すような従来の構成と比べて、オブジェクトＺの動きを滑らかにすることができ、自然な出力映像を表示させることができる。
また、図９に示すように、２個のスムース領域の間に、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが非スムース領域よりも小さく、かつ、出力フレームＨ14，Ｈ15のオブジェクトＺのサイズが従来と比べて元のサイズに近い問題３改善領域を設けることができる。したがって、図４に示すような従来の構成と比べて、実際の映像の動きの誤差を小さくすることができ、映像の破綻が抑制された出力映像を表示させることができる。
さらに、例えば入力フレームＦ7に基づき内挿フレームＬcを作成する際に、この入力フレームＦ7の動きを表す入力映像検出ベクトルＶ7のみを用い、過去の動きを表す入力映像検出ベクトルＶ6を用いない。したがって、入力映像検出ベクトルＶ6，Ｖ7の動き量が一次独立の場合であっても、内挿フレームＬcでの動き量を歪ませることがなく、出力映像の実際の動きと合わせることができる。
よって、内挿フレーム作成制御装置１４０は、ベクトルフレームレート変換処理部１５０に、適切な内挿フレームＬcを作成させることができる。
また、フレームレート変換装置１２０は、内挿フレーム作成制御装置１４０で作成された適切な入力映像使用ベクトルＫcに基づいて、フレームレートを適切に変換できる。
さらに、表示装置１００は、フレームレート変換装置１２０で適切にフレームレートが変換された出力映像を表示することができ、利用者に自然な出力映像を視認させることができる。

そして、所定の出力フレームＨの出力同期タイミングとの間隔が最も短くなる入力同期タイミングの入力フレームＦを認識し、これらの間隔である内挿距離に基づいて、内挿距離割合を算出する。つまり、例えば、図７に示すように、出力フレームＨ18に対応する内挿フレームＬ14を作成する際に、入力フレームＦ7ではなく入力フレームＦ8に基づいて内挿距離割合を算出する。
このため、例えば内挿フレームＬ14を作成する際に、入力フレームＦ7に対応する内挿距離割合に基づく入力映像使用ベクトルＫ14を利用する場合と比べて、入力映像使用ベクトルＫ14のサイズを小さくできる。つまり、入力フレームＦ8に対するオブジェクトＺの動き量を小さくすることができる。したがって、内挿フレームＬc作成時の処理負荷を低減できる。

また、入力フレームＦのほぼ全体における動きを１個の入力映像検出ベクトルＶとして取得するとともに、入力フレームＦを複数に分割して得られるローカルエリアごとの動きをローカルエリアベクトルとして取得する。そして、入力映像検出ベクトルＶに一致するローカルエリアベクトルの数が閾値以上の場合に、入力映像検出ベクトルＶの連続性があると判断する。
このため、入力映像検出ベクトルＶに一致するローカルエリアベクトルの数を認識するだけの単純な演算により、入力映像検出ベクトルＶの連続性を判断でき、内挿フレームＬc作成時の処理負荷をさらに低減できる。

［第２実施形態］
次に、本発明に係る第２実施形態を図面に基づいて説明する。
この第２実施形態では、内挿距離適応ゲインの制御処理を変更した構成を例示して説明する。
なお、第１実施形態と同一の構成については、同一の名称および符号を付し説明を省略または簡略にする。
図１２は、内挿距離適応ゲイン制御部の概略構成を示すブロック図である。

〔表示装置の構成〕
図５において、２００は表示装置であり、この表示装置２００は、表示部１１０と、フレームレート変換装置２２０と、などを備えている。
また、フレームレート変換装置２２０は、フレームメモリ１３０と、演算手段としての内挿フレーム作成制御装置２４０と、ベクトルフレームレート変換処理部１５０と、などを備えている。
さらに、内挿フレーム作成制御装置２４０は、各種プログラムとして、ベクトル取得部１４１と、内挿距離適応ゲイン制御部２４２と、内挿距離割合認識部１４３と、第１の乗算部１４４と、第２の乗算部１４５と、などを備えている。

内挿距離適応ゲイン制御部２４２は、図１２に示すように、分散量算出部２４２Ａと、制御量生成部１４２Ｂと、を備えている。

分散量算出部２４２Ａは、ベクトル取得部１４１で入力映像検出ベクトルＶを取得できない場合、入力映像検出ベクトルＶの連続性がないと判断する。また、入力映像検出ベクトルＶを取得できた場合、ローカルエリアベクトルの分散を算出する。そして、この分散が閾値以下の場合、入力映像検出ベクトルＶの連続性があると判断し、閾値よりも大きい場合、入力映像検出ベクトルＶの連続性がないと判断する。

〔表示装置の動作〕
次に、表示装置２００の動作として、フレームレート変換処理について説明する。
なお、第１実施形態と同様の動作については、同一の符号を付し説明を省略または簡略にする。
図１３は、内挿距離適応ゲイン制御処理を示すフローチャートである。

表示装置２００のフレームレート変換装置２２０は、図１０に示すように、ステップＳ１０１〜ステップＳ１０５の処理を実施する。
そして、ステップＳ１０３における内挿距離適応ゲインの制御処理では、フレームレート変換装置２２０は、図１３に示すように、ステップＳ２０１の処理を実施して、入力映像検出ベクトルＶが取得できなかったと判断した場合、ステップＳ２０２の処理をして、内挿距離適応ゲインを例えば０．２５だけ適宜減らす。一方、ステップＳ２０１において、取得できたと判断した場合、ローカルエリアベクトルの分散が閾値以下か否かを判断する（ステップＳ３０１）。
このステップＳ３０１において、閾値よりも大きいと判断した場合、ステップＳ２０２の処理をする。一方、ステップＳ３０１において、閾値以下であると判断した場合、ステップＳ２０４の処理をして、内挿距離適応ゲインを例えば０．２５だけ適宜増やす。

〔第２実施形態の作用効果〕
上述したように、上記第２実施形態では、第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。

すなわち、内挿フレーム作成制御装置２４０は、入力映像検出ベクトルＶが取得され、かつ、ローカルエリアベクトルの分散が閾値未満の場合に、入力映像検出ベクトルＶの連続性があると判断する。
このため、ローカルエリアごとの動きのばらつきが大きい場合に、入力フレームＦに対するオブジェクトＺの動き量が小さい内挿フレームＬcが作成されるので、ばらつき量が最小限に抑えられた内挿フレームＬcを作成できる。

［実施形態の変形］
なお、本発明は、上述した第１，第２実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。

すなわち、例えば、出力フレームＨ15に対応する内挿フレームＬ12を作成する際に、同期タイミングが最も短くなる入力フレームＦ7ではなく、入力フレームＦ6に基づいて内挿距離割合を算出してもよい。

また、入力映像検出ベクトルＶの連続性を判断する際に、入力フレームＦ全体の入力映像検出ベクトルＶと、各ローカルエリアベクトルとの外積に基づいて判断してもよい。入力映像検出ベクトルＶとローカルエリアベクトルの方向が一致すれば外積はゼロになり、方向が異なるほど外積は大きくなるからである。
そして、入力フレームＦのほぼ全体における動きを１個の入力映像検出ベクトルＶとして取得したが、入力フレームＦを２個や４個の領域に分割して、それらの領域のそれぞれの入力映像検出ベクトルＶを取得して、連続性を判断してもよい。

さらに、以下のような構成としてもよい。
すなわち、動き検出ブロックよりも小さく、かつ、ローカルエリアよりも大きい中間動き検出ブロックにおける動きベクトルを取得する。また、この動きベクトルに基づいて、例えば撮影状態がパンやチルト、ズーム、回転である旨を検出し、この検出した撮影状態に対応する動きベクトルを各ローカルエリアに展開する。そして、この動きベクトルと、入力映像検出ベクトルＶあるいはローカルエリアベクトルと、の一致度や外積値などに基づいて、内挿距離適応ゲインを増減させてもよい。

また、例えば、図７に示すように、入力映像検出ベクトルＶ7が検出できない状態から入力映像検出ベクトルＶ8が検出できる状態に移行し、内挿距離適応ゲインを増やす際に、出力フレームＨ16の出力同期タイミングで増やさずに、出力フレームＨ17の出力同期タイミングで増やしたが、出力フレームＨ16のタイミングで増やしてもよい。

さらに、図１４に示すように、入力映像検出ベクトルＶを取得する構成としてもよい。
すなわち、図１４に示す構成では、内挿フレーム作成制御装置１４０，２４０は、画像信号出力部１０から入力フレームＥ（以下、適宜、ｆ番目に入力される入力フレームを実際入力フレームＥfと称す）からなる入力映像を取得する。この入力フレームＥは、６０Ｈｚの入力垂直同期信号に基づき入力される。また、入力フレームＥには、入力フレームＥ10、Ｅ15，Ｅ20に対応して入力されるＦＩＬＭシーケンス開始信号に基づいて、それぞれに対してＦＩＬＭシーケンスフレーム番号が関連付けられる。
そして、内挿フレーム作成制御装置１４０，２４０は、入力フレームＥ10，Ｅ11におけるオブジェクトＺの位置が同じであり、入力フレームＥ12，Ｅ13，Ｅ14におけるオブジェクトＺの位置が同じなので、入力フレームＥ10，Ｅ12が、２４Ｈｚの想定入力垂直同期信号に基づいて、入力フレームＦ5，Ｆ6として入力されたと想定する。すなわち、６０Ｈｚの同期信号に基づく入力フレームＥからなる入力映像を、２４Ｈｚの同期信号に基づく入力フレームＦからなる入力映像として想定する。この後、この想定した入力映像の入力映像検出ベクトルＶに基づいて、上記実施形態と同様にして、例えば図７に示すように、フレームレート変換する構成としてもよい。
つまり、６０Ｈｚの同期信号に基づく入力映像を、一度、２４Ｈｚの周波数で入力された入力映像と見なし、この２４Ｈｚと見なした入力映像を、再度６０Ｈｚの出力映像にフレームレート変換する構成としてもよい。

そして、本発明の内挿フレーム作成制御装置やフレームレート変換装置を、表示装置に適用した構成について例示したが、入力映像のフレームレートを変換して表示させるいかなる構成に適用してもよい。例えば、再生装置や記録再生装置に適用してもよい。

また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。

その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。

［実施形態の効果］
上述したように、上記実施形態では、内挿フレーム作成制御装置１４０は、入力フレームＦごとの動きを入力映像検出ベクトルＶとして取得して、この入力映像検出ベクトルＶの連続性がある場合に内挿距離適応ゲインを増やし、連続性がない場合に減らす処理をする。そして、所定の出力フレームＨの出力同期タイミングおよび所定の入力フレームＦの入力同期タイミングの内挿距離に基づき得られる内挿距離割合と、入力映像検出ベクトルＶと、内挿距離適応ゲインと、周波数比と、を乗じることにより入力映像使用ベクトルＫcを設定し、この入力映像使用ベクトルＫcに基づく動き量の内挿フレームＬcを、ベクトルフレームレート変換処理部１５０に作成させる。
このため、図７に示すように、非スムース領域およびスムース領域の間に、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが非スムース領域よりも小さい問題１改善領域を設けることができる。また、図８に示すように、２個のスムース領域の間に、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが徐々に小さくなる問題２改善領域を設けることができる。したがって、図２および図３に示すような従来の構成と比べて、オブジェクトＺの動きを滑らかにすることができ、自然な出力映像を表示させることができる。
また、図９に示すように、２個のスムース領域の間に、オブジェクトＺの位置がベクトル対応線Ｔに沿わないがベクトル対応線Ｔからのずれが非スムース領域よりも小さく、かつ、出力フレームＨ14，Ｈ15のオブジェクトＺのサイズが従来と比べて元のサイズに近い問題３改善領域を設けることができる。したがって、図４に示すような従来の構成と比べて、実際の映像の動きの誤差を小さくすることができ、映像の破綻が抑制された出力映像を表示させることができる。
さらに、例えば入力フレームＦ7に基づき内挿フレームＬcを作成する際に、この入力フレームＦ7の動きを表す入力映像検出ベクトルＶ7のみを用い、過去の動きを表す入力映像検出ベクトルＶ6を用いない。したがって、入力映像検出ベクトルＶ6，Ｖ7の動き量が一次独立の場合であっても、内挿フレームＬcでの動き量を歪ませることがなく、出力映像の実際の動きと合わせることができる。
よって、内挿フレーム作成制御装置１４０は、ベクトルフレームレート変換処理部１５０に、適切な内挿フレームＬcを作成させることができる。

また、フレームレート変換装置１２０は、内挿フレーム作成制御装置１４０で作成された適切な入力映像使用ベクトルＫcに基づいて、フレームレートを適切に変換できる。
さらに、表示装置１００は、フレームレート変換装置１２０で適切にフレームレートが変換された出力映像を表示することができ、利用者に自然な出力映像を視認させることができる。

本発明は、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体として利用できる。

Claims (10)

1. 所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御装置であって、
   前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得部と、
   前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの作成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出部と、
   前記内挿フレームの作成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれに対応する前記動きベクトルの連続性が所定レベルよりも高い場合、所定値に設定された内挿距離適応ゲインの値を大きくし、前記連続性が前記所定レベルよりも低い場合、前記内挿距離適応ゲインの値を小さくする内挿距離適応ゲイン制御部と、
   前記内挿距離および前記内挿距離適応ゲインに基づいて、前記内挿フレームの作成に利用される前記入力フレームの前記動きベクトルの大きさを調整して内挿フレームベクトルを設定し、この内挿フレームベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させる内挿フレームベクトル設定部と、
   を具備したことを特徴とした内挿フレーム作成制御装置。
2. 請求項１に記載の内挿フレーム作成制御装置であって、
   前記内挿距離検出部は、前記内挿フレームが出力される前記出力同期タイミングとの間隔が最も短くなる前記入力同期タイミングの前記入力フレームが前記内挿フレームの作成に利用されると認識し、この入力フレームの前記入力同期タイミングおよび前記出力同期タイミングの間隔を前記内挿距離として検出し、
   前記内挿フレームベクトル設定部は、前記内挿距離に基づいて、前記動きベクトルの向きを調整して前記内挿フレームベクトルを設定する
   ことを特徴とした内挿フレーム作成制御装置。
3. 請求項１または請求項２に記載の内挿フレーム作成制御装置であって、
   前記ベクトル取得部は、前記入力フレームごとに第１の数の画素からなる第１のブロックサイズを有する少なくとも１個のブロックにおける動きを第１の前記動きベクトルとして取得するとともに、前記第１の数より小さい第２の数の画素からなる第２のブロックサイズを有する複数のブロックにおける動きを第２の前記動きベクトルとして取得し、
   前記内挿距離適応ゲイン制御部は、前記第１の動きベクトルおよび前記第２の動きベクトルの一致度が所定レベルよりも高い場合に前記連続性が所定レベルよりも高いと判断し、前記一致度が前記所定レベルよりも低い場合に前記連続性が所定レベルよりも低いと判断する
   ことを特徴とした内挿フレーム作成制御装置。
4. 請求項１または請求項２に記載の内挿フレーム作成制御装置であって、
   前記ベクトル取得部は、前記入力フレームごとに第１の数の画素からなる第１のブロックサイズを有する少なくとも１個のブロックにおける動きを第１の前記動きベクトルとして取得するとともに、前記第１の数より小さい第２の数の画素からなる第２のブロックサイズを有する複数のブロックにおける動きを第２の前記動きベクトルとして取得し、
   前記内挿距離適応ゲイン制御部は、前記第１の動きベクトルが取得され、かつ、前記第２の動きベクトルの分散が閾値よりも小さい場合に前記連続性が所定レベルよりも高いと判断し、前記第１の動きベクトルが取得され、かつ、前記分散が前記閾値よりも大きい場合に前記連続性が所定レベルよりも低いと判断する
   ことを特徴とした内挿フレーム作成制御装置。
5. 請求項１ないし請求項４のいずれかに記載の内挿フレーム作成制御装置と、
   前記入力フレームおよび前記内挿フレーム作成制御装置で設定された前記内挿フレームベクトルに基づいて、前記内挿フレームを作成する内挿フレーム作成部と、
   この内挿フレーム作成部で作成された前記内挿フレームを前記入力フレームの間に内挿して、フレームレート変換した出力映像を表示部で表示させるセレクタと、
   を具備したことを特徴としたフレームレート変換装置。
6. 請求項５に記載のフレームレート変換装置と、
   このフレームレート変換装置の制御により前記フレームレートが変換された前記出力映像を表示する表示部と、
   を具備したことを特徴とした表示装置。
7. 演算手段により、所定の入力周波数の入力画像信号に基づく入力同期タイミングで入力されたと見なすことが可能な複数の入力フレームからなる入力映像を、所定の出力周波数の出力画像信号に基づく出力同期タイミングで出力される前記入力フレームおよび前記入力フレームの間に内挿される内挿フレームからなる出力映像にフレームレート変換する際に、前記内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、
   前記演算手段は、
   前記入力フレームごとに前記入力フレームにおける動きを動きベクトルとして取得するベクトル取得工程と、
   前記内挿フレームが出力される前記出力同期タイミング、および、この内挿フレームの作成に利用される前記入力フレームの前記入力同期タイミングの間隔を内挿距離として検出する内挿距離検出工程と、
   前記内挿フレームの作成に利用される前記入力フレームおよびこの入力フレームに隣接する前記入力フレームのそれぞれに対応する前記動きベクトルの連続性が所定レベルよりも高い場合、所定値に設定された内挿距離適応ゲインの値を大きくし、前記連続性が前記所定レベルよりも低い場合、前記内挿距離適応ゲインの値を小さくする内挿距離適応ゲイン制御工程と、
   前記内挿距離および前記内挿距離適応ゲインに基づいて、前記内挿フレームの作成に利用される前記入力フレームの前記動きベクトルの大きさを調整して内挿フレームベクトルを設定し、この内挿フレームベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させる内挿フレームベクトル設定工程と、
   を実施することを特徴とする内挿フレーム作成制御方法。
8. 請求項７に記載の内挿フレーム作成制御方法を演算手段に実行させる
   ことを特徴とした内挿フレーム作成制御プログラム。
9. 演算手段を請求項１ないし請求項４のいずれかに記載の内挿フレーム作成制御装置として機能させる
   ことを特徴とした内挿フレーム作成制御プログラム。
10. 請求項８または請求項９に記載の内挿フレーム作成制御プログラムが演算手段にて読取可能に記録された
    ことを特徴とした内挿フレーム作成制御プログラムを記録した記録媒体。

Images