JP4053490B2 - フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置 - Google Patents

Description

本発明は、例えばホールド型表示装置に起因するボケや、コマ数の少ない動画における不自然な動きを改善するフレーム補間のための補間画像作成方法、装置及びこれを用いた画像表示システムに関する。

一般に、画像表示装置としては画像の書き込み後、蛍光体の残光時間のみ発光し続けるインパルス型表示装置（例えばＣＲＴやフィールドエミッション型表示装置（ＦＥＤ）と、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型表示装置（例えば液晶表示装置（ＬＣＤ）、エレクトロルミネッセンスディスプレイ（ＥＬＤ）など）の２種類がある。

ホールド型表示装置の問題点の一つは、動画表示に生じるボケ現象である。ボケ現象の発生は、複数フレームにわたる画像中に動体が存在し、その動体の動きに観察者の眼が追随した場合、複数フレームの画像が重なって網膜上に映し出されることに起因する。表示画像が前フレームから次のフレームへ切り換わる期間までは、同じ前フレームの画像が表示され続けられているにもかかわらず、眼は次フレームの画像の表示を予測して、前フレーム画像上を動体の移動方向に移動しながら観察してしまう。すなわち、眼の追随運動は連続性があり、フレーム間隔より細かいサンプリングを行うため、結果として隣接する二つのフレームの間の画像を埋めるように視認することで、ボケとして観察される。

この問題を解決するためには、表示のフレーム間隔を短くすればよい。これにより、表示フレーム数の少ない動画における不自然な動きを改善することもできる。その具体的な手法として、ＭＰＥＧ２（Motion Picture Experts Group phase 2）で用いられている動き補償を利用して補間画像を作成し、隣接するフレーム間で補間を行うことが考えられる。動き補償では、ブロックマッチングによって検出される動きベクトルが用いられる。しかし、ＭＰＥＧ２ではブロック単位で画像を作成するため、ブロック内に動きの異なる複数のオブジェクトが含まれている場合、相関のある部分と相関のない部分が発生し、相関のない部分によりブロック歪が生じる。

特開２０００−２２４５９３（特許文献１）には、この問題を解決するフレーム補間方法が開示されている。特許文献１では、補間フレームにおける補間対象ブロックの画素値を定める際に、復号対象小ブロックの２フレーム間の動き補償フレーム間差分絶対値を相対応する画素毎に閾値と比較し、閾値未満の差分絶対値を持つ第１画素領域と閾値以上の差分絶対値を持つ第２画素領域に分割する。

第１画素領域については、該領域の画素値と２フレーム間の動きベクトルで指し示される参照ブロック内の対応する画素値との平均値を求め、この平均値を補間フレームにコピーする。一方、第２画素領域については、復号対象フレームにおける陰面関係を判定し、その判定結果に基づき２フレーム間の動きベクトル探索方向を設定し直して動きベクトルを検出し、これをスケール変換した動きベクトルで指し示される再探索参照フレーム上の画素値を補間フレームにコピーする。このように復号対象ブロックを２フレーム間の動き補償フレーム間差分絶対値の大きさにより二分割した画素領域単位で補間を行うことによって、ブロック歪、すなわちブロック内に動きの異なる複数のオブジェクトが含まれている場合に生じる補間誤りが軽減される。
特開２０００−２２４５９３号公報

特許文献１においては、第２画素領域におけるサーチ方法についても、フレーム方向の切換は行っているが、検出するフレーム内での抽出方法に付加情報をつけてはいない。実際のオブジェクトの動きを反映するためには、第１画素領域で使用した画素を第２画素領域の画素として使用することは適切ではない。このように、領域分割後に抽出された第１画素領域の画素に対して何も制約を行わずに第２領域画素の探索を行うと、補間誤りによる画質劣化（ノイズ上の劣化）が発生しうる。

従って、本発明は補間誤りの発生しない、フレーム内補間のための補間画像作成方法及びこれを用いた画像表示システムを提供することを目的とする。

上記の課題を解決するため、本発明の一側面の補間画像作成方法は、第１フレームを複数の第１ブロックに分割し、前記第２フレームから、前記第１ブロックのそれぞれとの相関が高い第２ブロックを探索し、前記第１ブロックから、前記第１ブロックと前記第２ブロックとの間で対応する画素毎の差分絶対値が閾値未満の画素を含む第１サブブロックと前記差分絶対値が前記閾値以上の画素を含む第２サブブロックとを抽出し、前記第２フレーム上で前記差分絶対値が前記閾値以上となる領域から、前記第２サブブロックとの相関が高い第３サブブロックを探索し、前記第１フレームと第２フレームとの間に補間される第３フレームに、前記第１サブブロックと前記第３サブブロックとをコピーする。

本発明の一側面の補間画像作成装置は、第１フレームと第２フレームとを入力する入力部と、前記第１フレームを複数の第１ブロックに分割する分割部と、前記第２フレームから、前記第１ブロックのそれぞれとの相関が高い第２ブロックを探索する第１探索部と、前記第１ブロックから、前記第１ブロックと前記第２ブロックとの間で対応する画素毎の差分絶対値が閾値未満の画素を含む第１サブブロックと前記差分絶対値が前記閾値以上の画素を含む第２サブブロックとを抽出する抽出部と、前記第２フレーム上で前記差分絶対値が前記閾値以上となる領域から、前記第２サブブロックとの相関が高い第３サブブロックを探索する第２探索部と、前記第１フレームと第２フレームとの間に補間される第３フレームに、前記第１サブブロックと前記第３サブブロックとをコピーする補間画像生成部とを備える。

本発明によれば補間誤りの小さい補間画像を作成することができる。

以下、図面を参照して本発明の実施の形態を説明する。以下に説明する各実施形態は、コンピュータ上で動作するプログラムで実現される。尚、半導体集積回路により実現しても良い。

（第１実施形態）
図１に示すように、複数の画素からなる原画像の第ｍフレーム１（ｍは整数）と第ｍ＋ｎフレーム２（ｎは０を除く整数）間の第ｍ＋ｋフレーム３（ｋは０からｎまでの間の実数）の時間的位置に補間画像を作成するために、本発明の第１の実施形態では図２及び図３のフローチャートに示すような手順を用いる。なお、ここではｍ＝１，ｎ＝１、すなわち第ｍフレームと第ｍ＋ｎフレームは動画像の時間的に連続する二つのフレームとして説明する。また、ｋは例えば０．５とする。

まず、図４に示すように、第ｍフレーム１の画像データを複数の第１ブロック１１に分割し、第１ブロック１１を順次抽出する（ステップＳ１００）。次に、第ｍ＋ｎフレーム２の画像データから第１ブロック１１のそれぞれと同サイズかつ同形状の第２ブロック１２を抽出する（ステップＳ１０１）。図５（ａ）（ｂ）に、抽出した第１ブロック１１及び第２ブロック１２の例を示す。

本実施形態では、第１ブロック１１と第２ブロック１２のブロック対は次の方法を用いて選択される。まず、第１ブロック１１と第２ブロック１２間の相対応する画素毎の第１差分絶対値を、予め定められた第１閾値と比較する。次に、第１差分絶対値が第１閾値以下となる画素数ｐ（ｐは０以上の整数）をカウントする。最後に、画素数ｐが最大となるブロック対を選択する。尚、上述の方法に限らず、第１差分絶対値の和が最小となるブロック対を選択することもできる。

次に、第１ブロック１１と第２ブロック１２間の相対応する画素毎の第１差分絶対値を求める（ステップＳ１０２）。そして、第１差分絶対値と予め定められた第１閾値とを比較する（ステップＳ１０３）。尚、本実施形態では、第２ブロック１２を抽出する際に画素毎の第１差分絶対値を算出しているので、ステップＳ１０２ではその結果を流用する。

次に、ステップＳ１０３の比較結果に従って、第２ブロック１２から第１差分絶対値が第１閾値未満の画素を含む第１サブブロック１４と、第１差分絶対値が第１閾値以上の画素を含む第２サブブロック１３を抽出する（ステップＳ１０４，Ｓ１０５）。すなわち、第２ブロック１２のうち第２サブブロック１３は第１ブロック１１との相関が小さい領域であり、第１サブブロック１４は第１ブロック１１との相関が大きい領域である。第１サブブロック１４と第１ブロック１１内の相対応する画素ブロックとを結ぶベクトルを第１サブブロック１４に対する第１動きベクトルＤとする。

第１ブロック１１と第２ブロック１２との全ての組み合わせについてステップＳ１０２からステップＳ１０５までの処理を行うと、第ｍフレーム１及び第ｍ＋ｎフレーム２の各画素は、第１差分絶対値が第１閾値以上の画素と第１閾値未満の画素とを識別することができる。このことを利用して、図５（ｃ）に示すように、第ｍフレーム１及び第ｍ＋ｎフレーム２を第２サブブロック１３に対応する画素（第１差分絶対値が第１閾値以上の画素）を含んだ第１領域２１と、第１サブブロック１４に対応する画素（第１差分絶対値が第１閾値未満の画素）を含んだ第２領域２２とに分割する（ステップＳ１０６，Ｓ１０７）。

例えば、図６に示すように、斜線部で示された背景３０上を横方向へ動く白抜きで示す平行四辺形のオブジェクト３１と、右斜め下方向へ動く横縞で示す平行四辺形のオブジェクト３２がある場合、第１ブロック１１と第２ブロック１２とのブロック対うち最も相間の高いものは、第１ブロック１１及び第２ブロック１２が共に背景３０に存在する場合に得られる。この場合、図７に示すように第１領域２１は変化した領域（図６における第ｍ＋ｎフレーム２の白抜き部分）となり、それ以外の領域（図６における第ｍ＋ｎフレーム２の塗りつぶし部分）が第２領域２２となる。

ここでは、ステップＳ１０４において第２ブロック１２から抽出された第２サブブロック１３は、図８（ａ）に示すように台形となる。第２サブブロック１３に含まれる画素は前述のように第１差分絶対値が第１閾値以上であるため、第１ブロック１１との相間の低い画像データである。従って、再度第１ブロック１１との相間の高い画像データを第ｍ＋ｎフレームから抽出する必要がある。

そこで、ステップＳ１０７の処理後、図８（ｂ）に示すように、第ｍフレーム１から第２サブブロック１３と同サイズかつ同形状の第３サブブロック１５を抽出し（ステップＳ１０８）、第ｍ＋ｎフレーム２から第３サブブロック１５と同サイズかつ同形状の第４サブブロック１６を抽出する（ステップＳ１０９）。

次に、第３サブブロック１５と第４サブブロック１６間の相対応する画素毎の第２差分絶対値を求める（ステップＳ１１０）。ここで、第４サブブロック１６の候補として図８（ｃ）（ｄ）に示すように、第３サブブロック１５と同サイズかつ同形状（点線で囲んだ領域）の画像データが第ｍ＋ｎフレーム２から抽出され得る。図８（ｃ）は、実際に横縞で示す平行四辺形のオブジェクト３２が動いた部分の画像データである。図８（ｄ）は、斜線で示す背景３０と白抜きで示されるオブジェクト３１の境界部分の画像データである。図８（ｄ）の白抜きで示されるオブジェクト３１の大きさが、図８（ｃ）の横縞で示される平行四辺形のオブジェクト３２よりも大きいので、オブジェクト３１の画像データが第４サブブロック１６の候補として抽出される。

次に、第４サブブロック１６の画素毎に第１領域２１に属するか、第２領域２２に属するか判別する（ステップＳ１１１）。例えば、図８（ｅ）（ｆ）に示されるように、同形状の画像データが含まれる部分（点線で囲んだ領域内）の領域分割状態を調べる。図８（ｆ）は、既に全ての領域が第２サブブロック１３として抽出された画素であることを示している。

次に、第１領域２１に属する画素の第２差分絶対値と予め定められた第２閾値とを比較し、第２差分絶対値が第２閾値未満となる第５サブブロックを第４サブブロックから抽出する（ステップＳ１１２，Ｓ１１４）。

次に、第２領域２２に属する画素の第２差分絶対値と予め定められた第３閾値とを比較し、第２差分絶対値が第３閾値未満となる第６サブブロックを第４サブブロックから抽出する（ステップＳ１１３，Ｓ１１５）。

第４サブブロックには第５サブブロック及び第６サブブロックのいずれにも属さない画素が存在する可能性がある。このような画素は、補間フレーム内に画像データのない画素を生じさせる要因となる。そこで、後処理を行い、このような画素の画像データを求める（ステップＳ１１６）。本実施形態では、後処理対象画素の画像データは、後処理対象画素に隣接する複数の複数画素の画像データの重み付き平均値である。

この重み付き平均値を求める際に用いる重み係数は、後処理対象画素と隣接画素の距離の逆数によって定めることができる。例えば、図９に示すように斜線部の後処理対象画素の画像データを求める場合、上、下及び左の画素４１，４２，４３の画像データａ，ｂ，ｃに対しては重み係数２を乗じることで重み付けを行い、右２つ隣の画素４４（右の画素も画像データがないため）の画像データｄに対しては重み係数１を乗じることで重み付けを行う。これら４つの重み付けされた画像データの和２（ａ＋ｂ＋ｃ）＋ｄを７（＝２＋２＋２＋１）で除することにより、上記の重み付き平均値を｛２（ａ＋ｂ＋ｃ）＋ｄ｝／７として求める。

最後に、第ｍ＋ｋフレーム３に、ステップＳ１０５で抽出された第１サブブロックと、ステップＳ１１４で抽出された第５サブブロックと、ステップＳ１１５で抽出された第６サブブロック内の画素毎の画像データ、及びステップＳ１１６の後処理により求められた画素毎の画像データをそれぞれの時間的位置に応じてコピーする（貼り付ける）ことにより、第ｍ＋ｋフレーム３上に補間画像が作成される（ステップＳ１１７）。

ここで、図１に示すように第ｍ＋ｋフレーム３上への第１サブブロック、第５サブブロック及び第６サブブロックの画像データのコピーは、当該画像データがそれぞれ属するブロックにおける第ｍフレーム１と第ｍ＋ｎフレーム２間の動きベクトルに従って行われる。

コピー処理は次のようにして行われる。まず第１ブロック１１から第２ブロック１２への第１動きベクトルＭＶ１を求める。この第１動きベクトルＭＶ１は、第１ブロック１１の第１サブブロック１４に対応するサブブロックから、第１サブブロック１４への動きベクトルである。次に第１動きベクトルＭＶ１に−（ｎ−ｋ）／ｋを乗じて第２動きベクトルＭＶ２を求める。すなわち、第１動きベクトルＭＶ１を第ｍ＋ｎフレーム２から第ｍ＋ｋフレーム３への動きベクトルにスケール変換することにより、第２動きベクトルＭＶ２が求められる。

同様にして、第４サブブロックから第５サブブロックへの第３動きベクトルＭＶ３を求め、これをスケール変換して第４動きベクトルＭＶ４を求める。

次に、第２動きベクトルＭＶ２を用いて第ｍ＋ｋフレーム３上に第１サブブロックをコピーする。さらに、第４動きベクトルＭＶ４を用いて第ｍ＋ｋフレーム３上に第５サブブロック及び第６サブブロックをコピーする。例えば、ｎ＝１，ｋ＝０．５の場合、第ｍ＋ｋフレーム３は第１．５フレームであり、この上の第１動きベクトルＭＶ１の１／２である第２動きベクトルＭＶ２で指し示される位置に第１サブブロックをコピーし、第３動きベクトルＭＶ３の１／２である第４動きベクトルＭＶ４で示される位置に第５サブブロック及び第６サブブロックをコピーすることにより、補間画像が作成される。

第ｍ＋ｋフレーム３上の補間対象ブロックに複数のブロックが重複してコピーされる部分が発生した場合は、重複部分の画像データを複数のブロックの画素の画像データの平均値にする。一方、第ｍ＋ｋフレーム３上で画像データが全くコピーされなかった部分に対しては、前述の隣接画素の重み付け平均値と同様の方法によって画像データを算出する。

上述したステップＳ１００からステップＳ１１７までのの処理を第ｍフレーム１を分割した全ての第１ブロック１１に対応して行うことにより、第ｍ＋ｋフレーム３に対する補間画像の作成が完了する。

上述のように本実施形態では、第１サブブロック、第５サブブロック及び第６サブブロックの画素が第ｍ＋ｋフレーム３上への補間画像データとして用いられる。ここで、本実施形態によると第３閾値を第２閾値未満に設定することにより、第ｍ＋ｎフレームにおいて第１サブブロックとして抽出された画素が第６サブブロックとして再び抽出される可能性を減らすことができる。すなわち、第１サブブロックとして抽出された画素が第ｍ＋ｋフレーム３上への補間画像データとして重複して使用されることが少なくなり、補間誤りを低減することが可能となる。

この場合、第１サブブロックとして抽出された画素の幾つかは、第６サブブロックとして抽出される。しかし、第３閾値を第１閾値より小さくすれば、第１サブブロックとして抽出された画素よりも、第３サブブロックと第４サブブロック間の第２領域に含まれる画素毎の差分絶対値がより小さい、すなわち第３サブブロックと第４サブブロック間の相関がより大きい画素が第６サブブロックとして抽出され、第ｍ＋ｋフレーム３上にコピーされるため、より精度の高い補間画像を作成することが可能となる。

以上、本実施形態によれば補間誤りの小さい補間画像を作成することができる。従って、ブロック歪がなくかつノイズ感のない画像を表示することが可能となり、特に動画にお
いてはよりリアルな画像の表示を実現することができる。例えば、ホールド型表示装置における画像のボケ現象を改善することが期待される。

（第２の実施形態）
次に、図１０及び図１１を用いて本発明の第２の実施形態に係る補間画像作成手順を説明する。本実施形態は、第１の実施形態における第３閾値を０とした構成に相当する。

図１０及び図１１において図２及び図３と同一部分に同一符号を付して説明すると、本実施形態では図２におけるステップＳ１０７、図３におけるステップＳ１１１、ステップＳ１１３及びステップＳ１１５が除去され、図１０のステップＳ１１０の処理が終了すると、図１１のステップＳ１１２にジャンプする。従って、第１の実施形態で説明した第６サブブロックは抽出されない。

従って、ステップＳ１１７では、第１サブブロックと第５サブブロックとの画像データを用いて第ｍ＋ｋフレーム３に対する補間画像が作成される。

本実施形態によると、第１の実施形態における第３閾値を０とした構成とすることにより、第１サブブロック及び第５サブブロックの画素が第ｍ＋ｋフレーム３上への補間画像データとして用いられる。すなわち、第１サブブロック１４として抽出された画素は重複して使用されないことになるので、同じブロックの重複使用による補間誤りを確実に避けることができる。

（第３の実施形態）
次に、本発明の第３の実施形態に係る補間画像作成方法について説明する。本実施形態では、図１２及び図１３に示すように補間フレームの補間対象ブロックを想定し、補間対象ブロックを中心に第ｍフレーム１と第ｍ＋ｎフレーム２を点対称にサーチすることで、画像データを第ｍ＋ｋフレーム３上にコピーするときに重なりや隙間が発生しないようにする点が第１の実施形態と異なる。これ以外については、第１の実施形態と同様な手順を用いる。

以下、図１２及び図１３と図１４から図１６を用いて本実施形態における補間画像作成の処理手順を説明する。

まず、第ｍ＋ｋフレーム３、例えば第１．５フレーム（ｍ＝１，ｋ＝０．５）を複数の補間対象ブロック５１に分割し（ステップＳ２００）、次いで第ｍフレーム１、例えば第１フレームの画像データから補間対象ブロック５１と同サイズかつ同形状の第１ブロック１１を抽出する（ステップＳ２０１）。

次に、図１２（ａ）に示すように、補間対象ブロック５１と第１ブロック１１とを結ぶベクトルを第１動きベクトルＭＶ１１として算出し（ステップＳ２０２）、さらに第１動きベクトルＭＶ１１に−（ｎ−ｋ）／ｋを乗じて第２動きベクトルＭＶ１２を算出する（ステップＳ２０３）。ここで、ｎ＝１，ｋ＝０．５であれば、−（ｎ−ｋ）／ｋ＝−１であり、第２動きベクトルＭＶ１２は第１動きベクトルＭＶ１１と大きさが同じで逆向きの動きベクトルとなる。

次に、第２動きベクトルＭＶ１２に従って第ｍ＋ｎフレーム２、例えば第２フレーム（ｍ＝１，ｎ＝１）から、補間対象ブロック５１の移動先となる第２ブロックを抽出する（ステップＳ２０４）。ステップＳ２０１からステップＳ２０４までの処理では、第１ブロック１１と第２ブロック１１とのブロック対には多数の候補がある。第１の実施形態で説明した方法と同様の方法を用いて、多数の候補の中から第１ブロック１１と第２ブロック
１１のブロック対を選択する。尚、第１ブロック１１及び第２ブロック１２の形状は、例えば図１２（ｂ）に示すような矩形状である。

次に、第１ブロック１１と第２ブロック１２間の相対応する画素毎の第１差分絶対値を求め（ステップＳ２０５）、第１差分絶対値と予め定められた第１閾値とを比較する（ステップＳ２０６）。

次に、ステップＳ２０６の比較結果に従って、第１差分絶対値が第１閾値以上となる第２サブブロックを第２ブロック１２から抽出する（ステップＳ２０７）。さらに第１差分絶対値が第１閾値未満となる第１サブブロックを少なくとも第２ブロック１２から抽出する（ステップＳ２０８）。図１２（ｃ）（ｄ）に、このようにして抽出される第２サブブロック１３及び第１サブブロック１４の例を示す。

本実施形態のステップＳ２０８では、第１差分絶対値が第１閾値未満となる領域を第１ブロック及び第２ブロックからそれぞれ抽出し、それらの平均値を第１サブブロックとする。尚、第１差分絶対値が第１閾値未満となる第１サブブロックを第２ブロックのみから抽出しても構わない。

次に、図１３（ａ）に示すように、第ｍフレーム１及び第ｍ＋ｎフレーム２を第２サブブロック１３に対応する画素（第１差分絶対値が第１閾値以上の画素）を含んでいる第１領域２１と、第１サブブロック１４に対応する画素（第１差分絶対値が第１閾値未満の画素）を含んでいる第２領域２２とに分割する（ステップＳ２０９，Ｓ２１０）。

次に、補間対象ブロック上に、第２サブブロック１３と同サイズかつ同形状のサブブロックである補間対象サブブロック５２を設定する（ステップＳ２１１）。

次に、第ｍフレーム１から補間対象サブブロック５２と同サイズかつ同形状の第３サブブロック１５を抽出する（ステップＳ２１２）。

次に、補間対象サブブロック５２から第３サブブロック１５への第３動きベクトルＭＶ３を算出し（ステップＳ２１３）、さらに第３動きベクトルＭＶ１３に−（ｎ−ｋ）／ｋを乗じて第４動きベクトルＭＶ１４を算出する（ステップＳ２１４）。ここで、ｎ＝１，ｋ＝０．５であれば、−（ｎ−ｋ）／ｋ＝−１であり、第４動きベクトルＭＶ１４は第３動きベクトルＭＶ１３と大きさが同じで逆向きの動きベクトルとなる。

次に、第２動きベクトルＭＶ１４に従って第ｍ＋ｎフレーム２から補間対象サブブロック５２の移動先となる図１３（ｂ）に示すような第４サブブロック１６を抽出する（ステップＳ２１５）。ステップＳ２１１からステップＳ２１５までの処理では、上述した第１ブロック１１と第２ブロック１２とのブロック対と同様に、第３サブブロック１５と第４サブブロック１６とのサブブロック対には多数の候補がある。よって、上述のブロック対の選択と同様にしてサブブロック対の選択を行う。

次に、第３サブブロック１５と第４サブブロック１６間の相対応する画素毎の第２差分絶対値を求める（ステップＳ２１６）。

次に、ステップＳ２１５で抽出された第４サブブロック１６の画素毎に第１領域２１に属するか、第２領域２２に属するか判別する（ステップＳ２１７）。

次に、第１領域２１に属する画素に対して、ステップＳ２１６で求められた第２差分絶対値と予め定められた第２閾値とを比較し、第２閾値未満となる第５サブブロックを少な
くとも第４サブブロック１６から抽出する（ステップＳ２１８，Ｓ２２０）。本実施形態のステップＳ２２０では、第２差分絶対値が第２閾値未満となる領域を第３サブブロック１５及び第４サブブロック１６からそれぞれ抽出し、それらの平均値を第５サブブロックとする。尚、第２差分絶対値が第２閾値未満となる第５サブブロックを第４サブブロック１６のみから抽出しても構わない。

同様に、第２領域に属する画素に対して、ステップＳ２１６で求められた第２差分絶対値と予め定められた第３閾値とを比較し、第３閾値未満となる第６サブブロックを少なくとも第４サブブロック１６から抽出する（ステップＳ２１９，Ｓ２２１）。本実施形態のステップＳ２２１では、第２差分絶対値が第３閾値未満となる領域を第３サブブロック１５及び第４サブブロック１６からそれぞれ抽出し、それらの平均値を第６サブブロックとする。尚、第２差分絶対値が第３閾値未満となる第６サブブロックを第４サブブロック１６のみから抽出しても構わない。

次に、第４サブブロック１６の画素のうち、第５サブブロック及び第６サブブロックのいずれにも属さない画素（補間対象ブロック内で画像データのない画素）を後処理対象画素として後処理を行い、後処理対象画素の画像データを求める（ステップＳ２２２）。この後処理には、第１の実施形態で説明した方法と同様の方法を用いる。

最後に、補間対象ブロック５１に、第１サブブロックと、第５サブブロックと、第６サブブロック内の画像データ、及びステップＳ２２２の後処理により求められた画素毎の画像データをそれぞれの対応する位置にコピーする（貼り付ける）ことにより、第ｍ＋ｋフレーム３上に補間画像を作成する（ステップＳ２２３）。

上述したステップＳ２００からステップＳ２２３までの処理を第ｍ＋ｋフレーム３を分割した全ての補間ブロック５１に対応して行うことにより、第ｍ＋ｋフレーム３に対する補間画像の作成が完了する。

以上、本実施形態によれば補間誤りの小さい補間画像を作成することができる。従って、ブロック歪がなくかつノイズ感のない画像を表示することが可能となり、特に動画においてはよりリアルな画像の表示を実現することができる。例えば、ホールド型表示装置における画像のボケ現象を改善することが期待される。

（第４の実施形態）
本発明の第４の実施形態として、これまでの各実施形態で説明した補間画像作成方法を用いた画像表示システムについて説明する。

図１７は、本実施形態に係る画像表示システムの概略構成を示している。入力画像信号１０１は、補間画像作成部１０２及び画像切替部１０４に入力される。補間画像作成部１０２では、第１乃至第３の実施形態のいずれかで説明した手順により補間画像信号１０３が作成され、補間画像信号１０３は画像切替部１０４へ出力される。画像切替部１０４では、入力画像信号１０１をそのまま出力するか、補間画像信号１０４を出力するかの制御が行われる。

画像切替部１０４からの出力画像信号１０５は、ホールド型表示装置である高速リフレッシュ表示装置１０６へ出力される。表示装置１０６では、出力画像信号１０５に含まれる同期信号に対応して、リフレッシュレートを変えて画像、例えば動画像の表示が行われる。

（第５の実施形態）
以下、本発明の第５の実施形態の補間画像作成方法を説明する。本実施形態の補間画像作成方法は、第ｍフレーム２００１と第ｍ＋ｎフレーム２００２（ｍは整数、ｎは０以外の整数）との間に補間フレーム２００３を作成する方法である。図１８は本実施形態の補間画像作成処理のフローチャートである。図２０は本実施形態の補間画像作成処理の概要を示している。

（ステップＳ１８０１）第ｍフレーム２００１を分割して複数の第１ブロック２０１０を抽出する。本実施形態では第ｍフレーム２００１を複数の均等な矩形のブロックに分割する。

（ステップＳ１８０２）第ｍ＋ｎフレーム２００２から第１ブロック２０１０との相関が高い第２ブロック２０２０を抽出する。全ての第１ブロック２０１０について、相関が高い第２ブロック２０２０を第ｍ＋ｎフレーム２００２から抽出する。

本実施形態では第２ブロック２０２０を次のようにして抽出する。まず、第１ブロック２０１０と第２ブロック候補との間の相対応する画素毎の差分絶対値を求める。次に、差分絶対値が予め定めた閾値以下となる画素数ｐ（ｐは０以上の整数）を数える。最後に、画素数ｐが最大となる第２ブロック候補を第２ブロック２０２０として抽出する。

尚、上述の方法に限らず、例えば差分絶対値和が最小となる第２ブロック候補を第２ブロック２０２０として選択することもできる。

（ステップＳ１８０３）第１ブロック２０１０と第２ブロック２０２０との画素毎の差分絶対値を閾値と比較する。本実施形態では、ステップＳ１８０２で画素毎の差分絶対値を閾値と比較しているので、改めて計算せずにその結果を利用しても良い。

（ステップＳ１８０４、Ｓ１８０５）第１ブロック２０１０から差分絶対値が閾値未満となる画素を含む第１サブブロック２０１１を抽出する。また、第１ブロック２０１０から差分絶対値が閾値以上となる画素を含む第２サブブロック２０１２を抽出する。

（ステップＳ１８０６）第ｍ＋ｎフレーム２００２を、差分絶対値が閾値以上となる画素を含む第１領域２０３１と、閾値未満となる画素を含む第２領域２０３２とに分割する。

（ステップＳ１８０７）第ｍ＋ｎフレーム２００２の第１領域２０３１から、第２サブブロック２０１２との相関が高くて第２サブブロック２０１２と同一形状の第３サブブロック２０２３を抽出する。抽出手法はステップＳ１８０２と同様である。

（ステップＳ１８０８）第１ブロック２０１０と第２ブロック２０２０との間の動きベクトル２０４１に基づいて、第１サブブロック２０１１を補間フレーム２００３にコピーする。第１ブロック２０１０と第２ブロック２０２０との動きベクトルは第１サブブロック２０１１の動きベクトルでもある。この動きベクトルを、第ｍフレームと第ｍ＋ｎフレームとの時間間隔及び第ｍフレームと補間フレームとの時間間隔に応じてスケール変換する。そして、補間フレーム上のスケール変換された動きベクトル２０４３が指し示す位置に、第１サブブロック２０１１をコピーする。

尚、第１サブブロック２０１１をコピーする替わりに、第２ブロック上の第１サブブロック２０１１に相当するサブブロック２０２１をコピーしても構わない。あるいは、第２ブロック２０２０上の第１サブブロックに相当するサブブロック２０２１と第１サブブロック２０１１とを補間フレーム２００３との時間間隔に応じて加重平均した画像をコピー
しても構わない。

（ステップＳ１８０９）第２サブブロック２０１２と第３サブブロック２０２３との間の動きベクトル２０４２に基づいて、第２サブブロック２０１２を補間フレーム２００３にコピーする。ステップＳ１８０８と同様に、動きベクトル２０４２をスケール変換する。そして、そして、補間フレーム２００３上のスケール変換された動きベクトル２０４４が指し示す位置に、第２サブブロック２０１２をコピーする。

尚、第２サブブロック２０１２をコピーする替わりに、第３サブブロック２０２３をコピーしても構わない。あるいは、第２サブブロック２０１２と第３サブブロック２０１３とを補間フレームとの時間間隔に応じて加重平均した画像をコピーしても構わない。

（ステップＳ１８１０）補間フレーム２００３において、画素情報がない画素の画素値を周辺の画素から求める。例えば、第１の実施形態のステップＳ１１６で説明した手法を用いることができる。

（第６の実施形態）
本発明の第６の実施形態の補間画像作成方法について説明する。本実施形態と第５の実施形態とで異なる点は、ブロック対やサブブロック対の探索手法である。本実施形態では、図１２及び図１３に示すように補間フレームを複数の補間対象ブロックに分割する。この補間対象ブロックを基準にして幾何対称的に、第ｍフレーム上と第ｍ＋ｎフレーム上とにあるブロック対やサブブロック対を探索する。すなわち、補間対象ブロックと一直線上にあるブロック対やサブブロック対を探索する。

補間フレームを第ｍ＋ｋフレームと表現すると、最も単純な例はｎ＝１、ｋ＝０．５の場合である。この場合は、第ｍフレームと第ｍ＋１フレームとで相関の高いブロックやサブブロックの探索は、補間対象ブロックを基準に点対称の位置にあるブロック対やサブブロック対について行われる。

このように幾何対称的にサーチすることで、補間フレームに画像情報をコピーする時に発生する重なりや隙間を抑制することができる。

図１９は本実施形態の補間画像作成処理のフローチャートである。図２１は本実施形態の補間画像作成処理の概要を示している。

（ステップＳ１９０１）補間フレーム２１０３を複数の補間対象ブロック２１３０に分割する。

（ステップＳ１９０２）補間対象ブロック２１３０と一直線上にあり、かつ、相関が高い、第ｍフレーム２１０１の第１ブロック２１１０と第ｍ＋ｎフレーム２１０２の第２ブロック２１２０とを抽出する。上述した、ブロック対の幾何対称的な探索を行って、第ｍフレーム２１０１から第１ブロック２１１０を抽出し、第ｍ＋ｎフレーム２１０２から第２ブロック２１２０を抽出する。第１ブロック２１１０と第２ブロック２１２０と補間対象ブロック２１３０とは一直線上にある。また、第１ブロック２１１０と第２ブロック２１２０とは探索範囲内で最も相関が高い。

（ステップＳ１９０３）第１ブロック２１１０と第２ブロック２１２０との画素毎の差分絶対値を閾値と比較する。

（ステップＳ１９０４）第１ブロック２１１０から差分絶対値が閾値未満となる画素を
含む第１サブブロック２１１１を抽出する。

（ステップＳ１９０５）第１ブロック２１１０から差分絶対値が閾値以上となる画素を含む第２サブブロック２１１２を抽出する。第２サブブロック２１１２は第１ブロック２１１０内で相関が低い領域である。

（ステップＳ１９０６）補間対象ブロック２１３０内で第２サブブロック２１１２に対応する領域を、補間対象サブブロック２１３１として設定する。すなわち、相関が低い部分についてこれから再度探索を行う。

（ステップＳ１９０７）第ｍフレーム２１０１及び第ｍ＋ｎフレーム２１０２を、差分絶対値が閾値以上となる画素を含む第１領域２１４１及び２１５１と、閾値未満となる画素を含む第２領域２１４２及び２１５２とに分割する。第ｍフレーム２１０１及び第ｍ＋ｎフレーム２１０２で相関が高い領域として抽出された部分は探索に使わないようにして、補間精度を向上させる。そのために、このステップでは、第ｍフレーム２１０１及び第ｍ＋ｎフレーム２１０２を、探索に用いる領域と用いない領域とに分けている。

（ステップＳ１９０８）補間対象サブブロック２１３１と一直線上にあり、かつ、相関が高い、第ｍフレーム２１０１の第３サブブロック２１１３と第ｍ＋ｎフレーム２１０２の第４サブブロック２１２４とを、第１領域２１４１、２１５１から抽出する。

ステップＳ１９０２と同様にして、補間対象サブブロック２１３１に関してサブブロック対の幾何対称的な探索を行う。そして、第ｍフレーム２１０１の第１領域２１４１から第３サブブロック２１１３が抽出され、第ｍ＋ｎフレーム２１０２の第１領域２１５１から第４サブブロック２１２４が抽出される。このステップでの探索は第１ブロック２１１０と第２ブロック２１２０を中心としたある範囲内で実行されると、無制限に探索を行う場合より補間精度が良くなる。

（ステップＳ１９０９）第１ブロック２１１０と第２ブロック２１２０との間の動きベクトル２１６１に基づいて、第１サブブロック２１１１を補間フレーム２１０３にコピーする。

（ステップＳ１９１０）第３サブブロック２１１３と第４サブブロック２１２４との間の動きベクトル２１６２に基づいて、第３サブブロック２１１３を補間フレームにコピーする。

尚、ステップＳ１９１０において、第３サブブロック２１１３と第４サブブロック２１２４との各画素の差分絶対値を求め、この差分絶対値がある閾値以下の画素だけをコピーし、それ以外の画素は周辺の画素値から補間しても構わない。

（変形例）上述のステップ１９０８では第３サブブロック２１１３と第４サブブロック２１２４とサブブロック対の探索を行っている。サブブロックはブロックより狭い領域である。その上、第１領域２１４１、２１５１から検出するという条件がついている。よって、探索条件が厳しくなり計算量が増えやすい。そこで、ブロック単位で探索を行うようにして、計算量の増加を抑制することができる。

具体的には、補間対象サブブロック２１３１を含む補間対象ブロック２１３０を基準に探索を行う。まず、補間対象ブロック２１３０と一直線上にある、第１フレーム２１０１の第３ブロック候補と第２フレーム２１０２の第４ブロック候補との探索を行う。この時、第３ブロック候補と第４ブロック候補の類似度を求める時に、第１領域２１４１、２１
５１に含まれる画素の影響を第２領域２１４２、２１５２に含まれる画素の影響より大きくする。例えば、第５の実施形態のステップＳ１８０２で用いる手法であれば、第１領域２１４１、２１５１に含まれる画素の差分絶対値は第１閾値と比較され、第２領域２１４２、２１５２に含まれる画素の差分絶対値は第１閾値より小さな第２閾値と比較される。

そして、探索範囲内で最も相関が高い第３ブロック候補と第４ブロック候補とを、第３ブロック及び第４ブロックとして選択する。第３ブロック内で補間対象サブブロック２１３１に対応する領域が第３サブブロック２１１３であり、第４ブロック内で補間対象サブブロック２１３１に対応する領域が第４サブブロック２１２４である。

本発明の第１の実施形態における補間フレームの割り当てを示す図 同実施形態に係る補間画像作成手順を示すフローチャート 同実施形態に係る補間画像作成手順を示すフローチャート 同実施形態における１回目のブロック探索を説明する図 同実施形態における抽出された第１、第２ブロック及び第１、第２領域を示す図 同実施形態における画像の例と第１動きベクトルを示す図 同実施形態における第２動きベクトルを示す図 同実施形態における各ブロックの画像データと第４サブブロックの候補となる画像データを示す図 画像データを抽出できなかった画素に対して隣接画素から画像データを求める方法を示す図 本発明の第２の実施形態に係る補間画像作成手順を示すフローチャート 同実施形態に係る補間画像作成手順を示すフローチャート 本発明の第３実施形態における補間対象ブロックの探索及び抽出された各ブロックを示す図 同実施形態における補間対象ブロックの探索及び抽出された各ブロックを示す図 同実施形態に係る補間画像作成手順を示すフローチャート 同実施形態に係る補間画像作成手順を示すフローチャート 同実施形態に係る補間画像作成手順を示すフローチャート 本発明の第４の実施形態に係る画像表示システムの構成を示すブロック図 本発明の第５の実施形態の補間画像作成処理のフローチャート 本発明の第６の実施形態の補間画像作成処理のフローチャート 本発明の第５の実施形態の補間画像作成処理の概略図 本発明の第６の実施形態の補間画像作成処理の概略図

符号の説明

１…第ｍフレーム、２…第ｍ＋ｎフレーム、３…第ｍ＋ｋフレーム、１１…第１ブロック、１２…第２ブロック、１３…第２サブブロック、１４…第１サブブロック、１５…第３サブブロック、１６…第４サブブロックの候補、２１…第１領域、２２…第２領域、ＭＶ１…第１動きベクトル、ＭＶ２…第２動きベクトル、ＭＶ３…第３動きベクトル、ＭＶ４…第４動きベクトル、５１…補間対象ブロック、５２…補間対象サブブロック、ＭＶ１１…第１動きベクトル、ＭＶ１２…第２動きベクトル、ＭＶ１３…第３動きベクトル、ＭＶ１４…第４動きベクトル。

Claims (12)

1. 第１フレームを複数の第１ブロックに分割し、
   第２フレームから前記第１ブロックのそれぞれとの相関が高い第２ブロックを探索し、
   前記第１ブロックと前記第２ブロックとの間の第１動きベクトルを求め、
   前記第１ブロックから、前記第１ブロックと前記第２ブロックとの間で対応する画素毎の差分絶対値が閾値未満の画素を含む第１サブブロックと前記差分絶対値が前記閾値以上の画素を含む第２サブブロックとを抽出し、
   前記第２フレーム上で前記差分絶対値が前記閾値以上となる第１領域から、前記第２サブブロックとの相関が高い第３サブブロックを探索し、
   前記第２サブブロックと前記第３サブブロックとの間の第２動きベクトルを求め、
   前記第１フレームと第２フレームとの間に補間される第３フレームに、前記第１サブブロックの画像および前記第２ブロック内で前記第１サブブロックに相当する部分の画像のうちの少なくとも一方を用いて前記第１動きベクトルに基づいて補間画像を生成するとともに、前記第２サブブロックおよび前記第３サブブロックのうちの少なくとも一方を用いて前記第２動きベクトルに基づいて補間画像を生成する、
   補間画像作成方法。
2. 前記第２ブロックの探索では、
   前記第２フレームの第２ブロック候補と前記第１ブロックとの間で対応する画素毎に前記差分絶対値を求め、
   前記差分絶対値が前記閾値未満となる画素数を求め、
   前記画素数が探索範囲内で最大となる前記第２ブロック候補を前記第２ブロックとして選択する、
   請求項１記載の補間画像作成方法。
3. 前記第３サブブロックの探索では、
   前記第１領域内の第３サブブロック候補と前記第２サブブロックとの間で対応する画素毎に第２差分絶対値を計算し、
   前記第２差分絶対値が第２閾値未満となる画素数を求め、
   前記画素数が探索範囲内で最大となる前記第３サブブロック候補を前記第３サブブロックとして選択する、
   請求項２記載の補間画像作成方法。
4. 前記補間画像の生成では、
   前記第２サブブロックと前記第３サブブロックとを加重平均した第４サブブロックを求め、
   前記第１動きベクトルと前記第２動きベクトルとを用いて、前記第３フレームに、前記第１サブブロックと前記第４サブブロックとをコピーする、
   請求項１記載の補間画像作成方法。
5. 前記補間画像の生成では、
   前記第２ブロック上で前記第１サブブロックに対応する第４サブブロックと、前記第３サブブロックとをコピーする、
   請求項１記載の補間画像作成方法。
6. 第１フレームと第２フレームとの間に補間される補間フレームを複数の補間対象ブロックに分割し、
   前記補間対象ブロックと一直線上にあり、かつ、互いに相関が高い、前記第１フレームの第１ブロック及び前記第２フレームの第２ブロックを探索し、
   前記第１ブロックと前記第２ブロックとの間の第１動きベクトルを求め、
   前記第１ブロックから、前記第１ブロックと前記第２ブロックとの間で対応する画素毎の差分絶対値が閾値未満の画素を含む第１サブブロックと前記差分絶対値が前記閾値以上の画素を含む第２サブブロックとを抽出し、
   前記第１フレーム及び前記第２フレームから前記差分絶対値が前記閾値以上の画素を含む第１領域を抽出し、
   前記補間対象ブロック内で前記第２サブブロックに対応する補間対象サブブロックと一直線上にあり、かつ、互いに相関が高い、前記第１フレームの前記第１領域の第３サブブロック及び前記第２フレームの前記第１領域の第４サブブロックを探索し、
   前記第３サブブロックと前記第４サブブロックとの間の第２動きベクトルを求め、
   前記補間フレームに、前記第１サブブロックの画像および前記第２フレームで前記第１サブブロックに対応するサブブロックの画像のうちの少なくとも一方を用いて前記第１動きベクトルに基づいて補間画像を生成するとともに、前記第３サブブロックおよび前記第４サブブロックのうちの少なくとも一方を用いて前記第２動きベクトルに基づいて補間画像を生成する、
   補間画像作成方法。
7. 前記第１ブロック及び前記第２ブロックの探索は、
   前記第１フレームの第１ブロック候補と前記第２フレームの第２ブロック候補との間で対応する画素毎に前記差分絶対値を求め、
   前記差分絶対値が前記閾値未満となる画素数を求め、
   前記画素数が探索範囲内で最大となる前記第１ブロック候補を前記第１ブロックとして選択し、
   前記画素数が探索範囲内で最大となる前記第２ブロック候補を前記第２ブロックとして選択する、
   請求項６記載の補間画像作成方法。
8. 前記第３サブブロック及び前記第４サブブロックの探索は、
   前記第１フレームの前記第１領域内の第３サブブロック候補と前記第２フレームの前記第１領域内の第４サブブロック候補との間で対応する画素毎に第２差分絶対値を計算し、
   前記第２差分絶対値が第２閾値未満となる画素数を求め、
   前記画素数が探索範囲内で最大となる前記第３サブブロック候補を前記第３サブブロックとして選択し、
   前記画素数が探索範囲内で最大となる前記第４サブブロック候補を前記第４サブブロックとして選択する、
   請求項６記載の補間画像作成方法。
9. 第１フレームと第２フレームとを入力する入力部と、
   前記第１フレームを複数の第１ブロックに分割する分割部と、
   前記第２フレームから、前記第１ブロックのそれぞれとの相関が高い第２ブロックを探索して、第１動きベクトルを求める第１動きベクトル検出部と、
   前記第１ブロックから、前記第１ブロックと前記第２ブロックとの間で対応する画素毎の差分絶対値が閾値未満の画素を含む第１サブブロックと前記差分絶対値が前記閾値以上の画素を含む第２サブブロックとを抽出する抽出部と、
   前記第２フレーム上で前記差分絶対値が前記閾値以上となる第１領域から前記第２サブブロックとの相関が高い第３サブブロックを探索して、第２動きベクトルを求める第２動きベクトル検出部と、
   前記第１フレームと第２フレームとの間に補間される第３フレームに、前記第１サブブロックの画像および前記第２ブロック内で前記第１サブブロックに相当する部分の画像のうちの少なくとも一方を用いて前記第１動きベクトルに基づいて補間画像を生成するとともに、前記第２サブブロックおよび前記第３サブブロックのうちの少なくとも一方を用いて前記第２動きベクトルに基づいて補間画像を生成する補間画像生成部と、
   を備える補間画像作成装置。
10. 前記第１動きベクトル検出部は、
    前記第２フレームの第２ブロック候補と前記第１ブロックとの間で対応する画素毎に前記差分絶対値を求める差分絶対値算出部と、
    前記差分絶対値が前記閾値未満となる画素数を求める計数部と、
    前記画素数が探索範囲内で最大となる前記第２ブロック候補を前記第２ブロックとして選択する選択部と、
    を備える請求項９記載の補間画像作成装置。
11. 前記第２動きベクトル検出部は、
    前記第１領域内の第３サブブロック候補と前記第２サブブロックとの間で対応する画素毎に第２差分絶対値を計算する第２差分絶対値算出部と、
    前記第２差分絶対値が第２閾値未満となる画素数を求める第２計数部と、
    前記画素数が探索範囲内で最大となる前記第３サブブロック候補を前記第３サブブロックとして選択する第２選択部と、
    を備える請求項１０記載の補間画像作成装置。
12. 動画像を入力する入力部と、
    請求項１乃至８のいずれかに記載の補間画像作成方法を用いて、前記動画像の各フレームから補間画像を生成する補間画像生成部と、
    生成された補間画像及び入力された動画像を表示する表示部と、
    を備える画像表示システム。

Images