JP4761102B2 - 画像表示装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像表示装置および方法、並びにプログラムに関し、特に、入力画像を、所定領域毎に、その移動量に基づいて解像度変換する画像表示装置および方法、並びにプログラムに関するものである。

従来、表示装置において、表示された画像の解像度を超える解像度で、その画像の観測者が認識できるようにする方法として、液晶表示素子を複数使い、ハーフミラーなどを使って光学的に位置ずらして合成する第１の方法（特許文献１参照）や、液晶表示素子からの光の光軸を光学的に振動させるウォブリングと呼ばれる画素ずらし操作を行う第２の方法（特許文献２参照）などが提案されている。なお表示された画像の解像度を超える解像度で、観測者が画像を知覚することを、適宜、超解像度効果と称する。

特開平６―１８８３６号公報 特開平６―３２４３２０号公報

しかしながら、第１の方法による表示装置では、高解像度効果を実現するために複数の表示素子や、また複数の表示素子から出力される光を合成するための光学素子を用いる必要があることから、装置がコスト高になるとともに、その構造が複雑になり小型化が困難になるという問題があった。

また従来第２の方法による表示装置では、高解像度効果を実現するために光学的に光軸をずらす光学素子を必要としている。これは、ウォブリングを行うための光学素子によるコストアップに加え、駆動方式が複雑になるという問題があった。

本発明はこのような状況に鑑みてなされたものであり、表示素子の構造は変えることなく、超解像度効果を容易に得ることができるようにしたものである。

本発明の、第１の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第１の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことを特徴とする。

領域の横方向の移動量に基づいて横方向の空間間引き量を決定するとともに、領域の縦方向の移動量に基づいて縦方向の空間間引き量を決定することができる。

フレームレートが高い場合に、空間間引き処理における空間間引き量を大きくすることができる。

任意のフレームの空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように空間間引き量が決定されることができる。

解像度変換ステップは、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行うことができる。

解像度変換ステップは、画像入力ステップで入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる。

本発明の、第１の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第２の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号を複数の領域に分割してその領域毎の移動量を検出し、検出された移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の各領域に対して空間フィルタ処理を施した後で、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことができる。

本発明の、第１の解像度を持つ画像信号を入力する画像入力手段と、画像入力手段に入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する第１の画像表示装置は、解像度変換手段は、画像入力手段により入力された画像信号の少なくとも一部の領域の移動量を検出する移動量検出部と、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部とを有することを特徴とする。

領域の横方向の移動量に基づいて横方向の空間間引き量が決定されるとともに、領域の縦方向の移動量に基づいて縦方向の空間間引き量が決定されるようにすることができる。
フレームレートが高い場合には、空間間引き処理における空間間引き量が大きくされるようにすることができる。
任意のフレームの空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように空間間引き量が決定されるようにすることができる。

解像度変換処理部は、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行うことができる。

移動量検出部は、画像入力手段により入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる。

本発明の、第１の解像度を持つ画像信号を入力する画像入力手段と、画像入力手段に入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する第２の画像表示装置は、解像度変換手段が、画像入力手段に入力された画像信号を複数の領域に分割して領域毎に移動量を検出する移動量検出部と、検出された移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の各領域に対して空間フィルタ処理を施した後で、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部とを有することを特徴とする。

本発明の、コンピュータに、第１の解像度を持つ画像信号の入力を制御する画像入力制御ステップと、入力された画像信号の、第１の解像度より低い第２の解像度を持つ画像信号への変換を制御する解像度変換制御ステップと、解像度変換された画像信号に対応する画像の所定のフレームレートでの表示を制御する画像表示制御ステップとを含む処理を実行させるためのプログラムは、解像度変換制御ステップが、画像入力制御ステップの処理で入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことができる。

本発明においては、第１の解像度を持つ画像信号が入力され、入力された画像信号が、第１の解像度より低い第２の解像度を持つ画像信号に変換され、解像度変換された画像信号に対応する画像が所定のフレームレートで表示手段に表示され、解像度変換の際、入力された画像信号の少なくとも一部の領域の移動量が検出され、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理が行われる。

また本発明においては、第１の解像度を持つ画像信号が入力され、入力された画像信号が、第１の解像度より低い第２の解像度を持つ画像信号に変換され、解像度変換された画像信号が所定のフレームレートで表示手段に表示され、解像度変換の際、入力された画像信号を複数の領域に分割してその領域毎の移動量が検出され、検出された移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の各領域に対して空間フィルタ処理を施した後で、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理が行われる。

本発明によれば、画像の移動量に基づく空間間引き等の解像度変換により、超解像度効果を、容易に得ることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明の、第１の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第１の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号の少なくとも一部の領域の移動量を検出し（例えば、図２３のステップＳ３での処理）、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理（例えば、図２３のステップＳ４乃至ステップＳ７の処理）を行うことを特徴とする。

解像度変換ステップが、表示手段が第２の解像度を超える解像度を有するような視覚効果を与える空間間引き処理（例えば、ステップＳ７の処理）を含むようにすることができる。

空間間引き処理における空間間引き量は、領域の移動量に基づいて決定されるようにすることができる（例えば、図２３のステップＳＳ４，５の処理）。

領域の横方向の移動量に基づいて横方向の空間間引き量を決定するとともに、領域の縦方向の移動量に基づいて縦方向の空間間引き量を決定することができる（例えば、図２３のステップＳ４，Ｓ５の処理）。

フレームレートが高い場合に、空間間引き処理における空間間引き量を大きくすることができる（例えば、図２３のステップＳ４，Ｓ５の処理）。

任意のフレームの空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように空間間引き量が決定されることができる。（例えば、図２３のステップＳ５の処理）。

解像度変換ステップは、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行うことができる（例えば、図２３のステップＳ６，Ｓ７の処理）。

解像度変換ステップは、画像入力ステップで入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる（例えば、図２３のステップＳ３の処理）。

本発明の、第１の解像度を持つ画像信号を入力する画像入力ステップと、入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換ステップと、解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する第２の画像表示方法は、解像度変換ステップが、画像入力ステップで入力された画像信号を複数の領域に分割してその領域毎の移動量を検出し（例えば、図２３のステップＳ３の処理）、検出された移動量に基づいて各領域の空間間引き量を設定するとともに（例えば、図２３のステップＳ４，Ｓ５の処理）、入力された画像信号の各領域に対して空間フィルタ処理を施した後で（例えば、図２３のステップＳ６の処理）、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理（例えば、図２３のステップＳ７の処理）を行うことができる。

本発明の、第１の解像度を持つ画像信号を入力する画像入力手段（例えば、図１８の画像入力部１１）と、画像入力手段に入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換手段（例えば、図１８の画像変換部１２）と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段（例えば、図１８の画像表示部１３）とを有する第１の画像表示装置は、解像度変換手段は、画像入力手段により入力された画像信号の少なくとも一部の領域の移動量を検出する移動量検出部（例えば、図１８の移動量検出部２１）と、検出された移動量に基づいて決定される空間間引き量で、所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部（例えば、図１８の画素数変換部２２）とを有することを特徴とする。

解像度変換手段は、移動量に対応した空間間引き量のテーブルを記憶するための記憶部（例えば、図１９の記憶部４４Ａ）をさらに有し、テーブルを参照することにより、空間間引き量が決定されるようにすることができる。

解像度変換処理部は、入力された画像信号に空間フィルタ処理を施した信号に対して、空間間引き処理を行う（例えば、図１９の空間間引き処理部４２）。

移動量検出部は、画像入力手段により入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出することができる（例えば、図１９のブロックマッチング回路３４）。

本発明の、第１の解像度を持つ画像信号を入力する画像入力手段（例えば、図１８の画像入力部１１）と、画像入力手段に入力された画像信号を、第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換手段（例えば、図１８の画像変換部１２）と、解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段（例えば、図１８の画像表示部１３）とを有する第２の画像表示装置は、解像度変換手段が、画像入力手段に入力された画像信号を複数の領域に分割して領域毎に移動量を検出する移動量検出部（例えば、図１８の移動量検出部２１）と、検出された移動量に基づいて各領域の空間間引き量を設定するとともに（例えば、図１９の制御部４４）、入力された画像信号の各領域に対して空間フィルタ処理を施した後で（例えば、図１９の空間フィルタ処理部４１）、設定された空間間引き量に基づいて領域毎に所定のフレームレートで表示する表示手段が第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部（例えば、図１９の空間間引き処理部４２）とを有することを特徴とする。

本発明を適用した画像表示装置は、入力画像を、その解像度より低い解像度を持つ表示画像に変換して表示デバイスに表示するが、その際、所定の視覚特性を利用した解像度変換処理を行うことにより、観測者がその解像度を超える解像度で画像を知覚するという知覚効果（超解像度効果）を実現する。

ここでその視覚特性および解像度変換処理について説明する。

人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能（以下、時間的積分機能と称する）を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激（閾値）は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるにつれて大きくなる。

この関係は、ブロックの法則(Bloch's law)として知られ、以下の式が成り立つ。式中、Ｉは、閾値としての刺激の強度であり、Ｔは、刺激の呈示時間であり、ｋは定数である。
Ｉ×Ｔ＝ｋ

またこの関係は、横軸を刺激呈示時間Ｔとし、縦軸を閾値（強度I）とすると、図１に示すように表すことができる。この曲線は、閾値呈示時間曲線として知られている。図１の閾値呈示時間曲線によれば、強度Ｉａの光がインパルス的に時間Ｔａの間呈示された場合と、Ｉａの１／ｎの強度Ｉｂの光がＴａのｎ倍の時間Ｔｂだけ連続して呈示された場合とでは、人は、同じ明るさを感じることになる。

なお、刺激の呈示時間のある時間（図１の例では時間ＴL）までは、ブロックの法則が成り立つが（時間ＴLまでは右下がりの直線になるが）、時間ＴLを越えると閾値が刺激の強度のみに依存するようになる（呈示時間によって変化しなくなり、その結果閾値呈示時間曲線は折れ線のような特性を示す）。ブロックの法則が成り立つ最大の刺激呈示時間ＴLは、臨界呈示時間と呼ばれている。この時間ＴLは、背景光の強度などの刺激呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。

ブロックの法則の詳細については、例えば、"視覚情報処理ハンドブック,日本視覚学会編,pp.219-220"などに記載されている。

人の視覚はまた、刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（以下、感覚記憶機能と称する）を有している。この時間については、１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリーとか視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック,日本視覚学界編,pp.229-230"などに記載されている。

次に、超解像度効果を実現する解像度変換処理について説明する。なお本発明における超解像度効果は、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性を利用している。これは上記の時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられるが、以下の説明においては、これを便宜上、時間的積分機能によるものとする。

例えば、水平方向に平行移動する被写体を、所定のフレームレート（以下、入力画像フレームレートと称する）および所定のサンプリングレート（以下、入力画像サンプリングレートと称する）で撮影すると、図２Ａに示すような、被写体像Ｗaが、速度ｖ（ピクセル／フレーム）で、図面に向かって右方向（Ｘ軸方向）に移動する入力フレームＦａが得られる。図２Ａには、連続する４枚の入力フレームＦａ１乃至Ｆａ４が図示されている。

このように得られた入力フレームＦａを、Ｘ軸方向（被写体像Ｗaの移動方向）に、入力画像サンプリングレートの、１／ｍのサンプリングレート（以下、表示画像サンプリングレートと称する）でサンプリングするものとする（間引き量ｍで間引きするものとする）。図２Ａの場合、入力フレームＦａが間引き量４で間引きされているので、図２Ｂに示すような、Ｘ軸方向の画素数が１／４になった（Ｘ軸方向に粗くなった）（画質が劣化した）表示フレームＦｂが得られる。表示フレームＦｂには、入力フレームＦａの被写体像Ｗaが間引き量４で間引きされた画像（以下、表示被写体像Ｗbと称する）が含まれている。

そしてこのように得られた表示フレームＦｂを、所定のフレームレート（以下、表示画像フレームレート）で表示するものとする。その結果観測者は、上述した時間的積分機能における積分時間内に表示された複数の表示フレームＦｂの積分画像を知覚する。

ここで観測者の視線は、このように表示された表示フレームＦｂ上の表示被写体像Ｗbを追従しているものとする。この場合観測者の視点は、常に表示被写体像Ｗbの中心に位置するので、観測者の網膜上の表示被写体像Ｗbはほぼ静止している。図２Ｂに示す座標軸Ｖｘ，Ｖｙは、網膜上の座標を示し、座標軸Ｘ，Ｙは、フレーム上の座標を示している（ともに、図中表示フレームＦｂ１上に示されているが、表示フレームＦｂ２乃至Ｆｂ４についてはその図示は省略されている）。座標軸Ｖｘ，Ｖｙは、網膜には実像の反転像が結像するため、座標系の向きは座標軸Ｘ，Ｙと逆になっている。

また表示フレームＦｂのサンプリングは、図３中の点線で示されているように、フレーム上一定の位置（この例の場合、４画素間隔の位置）がサンプルされる。したがって、移動量がサンプリング間隔の倍数と一致しない場合、サンプリングされる被写体像Ｗaの位置は、フレーム毎にｖずつずれるので、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分で形成される。

例えば、被写体像Ｗaの移動速度ｖが、１（ピクセル／フレーム）である場合、フレーム間の移動量（１ピクセル）がサンプリング間隔（４ピクセル）の倍数と一致せず、サンプリングされる被写体像Ｗaの位置が、１画素ずつＸ軸方向にずれる。したがってこの場合、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、その分だけ異なる部分から形成される。

このように表示被写体像Ｗbが、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分から形成されている場合、その表示被写体像Ｗbが視覚系で複数フレームにわたって積分されることにより、表示被写体像Ｗbより画素が密になった画像（表示被写体像像Ｗbの解像度より高解像度（以下、超解像度と称する）の画像）が知覚される。

例えば、視覚特性における積分時間が、図２Ｂにおける４枚分の表示フレームＦｂの表示時間に相当し、表示フレームＦａ１乃至Ｆａ４の４個の表示被写体像Ｗbが積分される場合、図２Ｃに示すような、表示被写体像Ｗbの解像度の約４倍、すなわち被写体像Ｗaと同程度の解像度の画像が知覚される。

超解像度効果はこの原理によって実現されるが、間引き処理を施すと折り返し成分が発生し、それが折り返し歪みとなり画質が劣化する。そこで本発明では、以下に説明するようにその折り返し成分を取り除く工夫がなされている。

式（１）は、１次元の原信号f(x)を間隔Ｘで離散化した信号f_s(ｘ)を表している。式（１）中、δ(ｘ)はデルタ関数である。式（２）は、離散化信号f_s(ｘ)のフーリエ変換F_s(ω)を表している。式（２）中、F(ω)は原信号f(ｘ)のフーリエ変換であり、ω_sはサンプリング角周波数を表している。

・・・（１）

・・・（２）

式（３）は、原信号f(ｘ)を、実空間においてφだけずらして間隔Ｘでの離散化を行った信号f_sφ(ｘ)のフーリエ変換F_sφ(ω)を表している。

・・・（３）

式（３）は、ｋ＝０の基本波は原信号と同じになり、ｋ＝ｎのｎ次高調波は2πnφだけ位相がずれていることを示している。上述のように、被写体像Ｗaがある移動速度ｖで平行移動しているとし、移動方向に１／ｍで間引きサンプリングする場合を考えると、原信号は表示フレームＦｂのナイキスト周波数のｍ倍の帯域を持っている。したがって、１／ｍで間引きサンプリングされたサンプリング信号f_sφ(x)は折り返し成分を持っており、式（３）において、ｋ＝０は原信号成分となり、ｋ＝１，２，・・・，(ｍ−１)は折り返し成分となる。

図４は、間引き量ｍ＝２としたときのフーリエ変換F_sφ(ω)を示している。このとき、原信号の帯域はナイキスト周波数の２倍となり、１／ｍで間引きサンプリングされたサンプリング信号f_sφ(x)には１次高調波の折り返し成分が存在している。この図からわかるように、サンプリング信号f_sφ(x)は原信号f(x)のフーリエ変換F(ω)成分をそのまま持っており、ｋ＝１における１次高調波F(ω-ω_s)およびF(ω+ω_s)が、それぞれ −2πφおよび 2πφだけ位相がずれて折り返している。

間引きサンプリング間隔が１／ｍの場合には、その１／ｍで間引きされたサンプリング信号f_sφ(x)には１乃至（ｍ−１）次の折り返し成分が存在し、それぞれの位相は2πkφだけずれていることになる。このサンプリング信号f_sφ(x)は、φだけずれた原信号f(x)を１／ｍに間引きサンプリングした信号であるので、図２Ｂにおける任意の１表示フレームＦｂに相当すると考えられる。

ここで図２Ｂにおける時間的に異なる各表示フレームＦｂの信号について考える。被写体（原信号ｆ(x)）が速度ｖで平行移動している場合、図３で示したように、フレーム毎にサンプル点の位相がずれる。このことから、式（３）におけるサンプリング点のずれ量φは時間tの関数となっており、速度ｖ(ピクセル/フレーム)と間引き量ｍ(ピクセル)に依存して式（４）のようになる。式（４）中Ｔは、時間間隔を表しており、フレームレートの逆数である。

・・・（４）

式（４）は、ｔ＝０のときにずれ量φ₀が０となり、ｔ＝Ｔ，２Ｔ，３Ｔ・・・と変化するにつれてずれ量がｖ／ｍずつ増えていくことを表している。式（４）を式（３）に当てはめると、各時刻における折り返し成分の位相が求められる。図５は、１次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相を表している。図６は、２次の折り返し成分の、図７は、３次の折り返し成分の、そして図８は、４次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相をそれぞれ表している。

このようにｋ次の折り返し成分は、時間、すなわちフレームが進むに従って、等間隔（２πｋφT間隔）で回転し、時間ｔ＝（ｍ／ｖ）Ｔの時に位相０に戻る。また折り返し成分の次数が上がるに従って、位相の回転間隔が倍になる。

このように間引き量ｍでの間引き処理（間引きサンプリング）によって発生するｋ（＝１，２，・・・，（ｍ−１））次の折り返し成分の位相は、２πｋφTで回転するので、位相の方向と積分される画像の数（合成される折り返し成分の数）によっては、折り返し成分が互いに打ち消される場合がある。言い換えれば、φtは、式（４）に示すように移動速度ｖと間引き量ｍに依存するので、移動速度ｖと間引き量ｍ並びに積分される画像の数によって、折り返し成分が互いに打ち消される場合がある。

例えば、ｖ＝１である場合、ｍ＝４で間引きしたとき、表示フレームＦｂの画像には、図９に示すように、０（＝２π×１×［（１／４）×０／Ｔ］），π／２（＝２π×１×［（１／４）×（Ｔ／Ｔ）］，π（＝２π×１×［（１／４）×２Ｔ／Ｔ］、３／２π（＝２π×１×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π／２間隔で位相が変化する）１次の折り返し成分が存在する。なお図９においてｔ＝４Ｔ以降の折り返し成分の図示は省略されている。後述する図１０および図１１においても同様である。

表示フレームＦｂの画像にはまた、図１０に示すように、０（＝２π×２×［１／４×０／Ｔ］），π（＝２π×２×［１／４×Ｔ／Ｔ］）、２π（＝２π×２×［（１／４）×（２Ｔ／Ｔ）］）、３π（＝２π×２×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π間隔で位相が変化する）２次の折り返し成分と、図１１に示すように、０（＝２π×３×［（１／４）×（０／Ｔ）］、３π／２（＝２π×３×［（１／４）×（Ｔ／Ｔ）］、３π（＝２π×３×［（１／４）×（２Ｔ×Ｔ）］）,９π／２（＝２π×３×［（１／４）×（３Ｔ／Ｔ）］），・・・で位相が変化する（３π／２間隔で位相が変化する）３次の折り返し成分が存在する。

この場合、ｔ＝０，Ｔ，２Ｔ，３Ｔそれぞれにおける１次乃至３次の折り返し成分のベクトルは、図９乃至図１１に示したように、それぞれ互いに打ち消す方向を向いているので、視覚系で４枚分の表示フレームＦｂが積分される場合、それらはすべて打ち消される。

ｋ次の折り返し成分が打ち消される条件を式で表せば、式（５）のようになり、式（５）をオイラーの公式により展開すれば、式（６），（７）のようになる。

・・・（５）

・・・（６）

・・・（７）

すなわち本発明では、被写体像Ｗaの移動速度ｖに応じて、互いに打ち消される折り返し成分が発生するように間引き量ｍを決定することによって、折り返し成分を除去するようにしている。

ここで離散化信号f_sφ(ｘ)を帯域制限型のデジタルフィルタにより１／ｍに縮小する場合を考えると、φだけずれた原信号f(x)は折り返しが発生しないようにナイキスト周波数において帯域制限される。このため例えばｍ＝２のとき、フーリエ空間は、図１２に示すようになり、１／ｍに縮小された信号に対応する各フレーム画像は折り返し成分を含まない低解像度の画像となる。したがって、この場合には縮小信号の基本波は原信号とは異なる信号となっており、複数フレームの画像をどのように加算処理してもナイキスト周波数以上の周波数成分を表現することはできず、超解像度効果を得ることができない。したがってこのことから、超解像効果を得るためには、原信号を帯域制限しないことが重要であり、広帯域の空間周波数成分を持つ原画像を間引きサンプリングするのが最適である。

なお以上においては簡単のために、原信号が１次元信号の場合を例として説明したが、２次元画像においても同様である。また図２を参照して被写体像ＷaのＸ軸方向の移動を例として説明したが、Ｙ軸方向の移動についても同様である。

次に互いに打ち消される折り返し成分の条件（超解像度効果を得ることができる画像の折り返し成分の条件）について説明する。

超解像度効果を得ることができるための条件は、式（５）が成立する、つまり式（６）および式（７）が成立することである。これは、図１３に示すように、時刻ｔにおけるｋ次の折り返し成分をベクトルＺk(t)とすると、視覚系の積分範囲におけるベクトルＺk(t)和がゼロになることである。この条件の成立は、積分時間に依存するが、この積分時間は、観察環境によって変化することが知られている上に、それを正確に計測することが困難なため、この条件を満たす範囲を限定することは難しい。

一方、例えば、所定の移動速度ｖでＸ軸方向またはＹ軸方向に移動する被写体像Ｗaを、所定の間引き量ｍでサンプリングして所定のフレームレート毎に表示し、表示された表示被写体像Ｗbを、観測者が実際に見て超解像度で知覚できたかを確認する実験から、フレームレートが高い、つまり積分される画像数が多ければ、間引き量ｍが大きくなっても超解像度効果が得られることがわかっている。このとき超解像度効果が得られる条件は、移動速度ｖに依存しており、およそ式（８）のような関係にあると考えられる。
２πｎ＋α≦２πｋφT≦２π（ｎ＋１）−α・・・（８）

前述のように、各折り返し成分の位相は２πｋφT間隔で回転するが、式（８）は、その各次の折り返し成分の位相回転間隔が、２πの倍数に近いときには超解像度効果が得られないことを表している。図１４に示すように、位相回転間隔が２πの倍数に近いということは、時刻ｔが変化しても折り返し成分の位相がほとんど変わらないことを意味しており、折り返し成分は打ち消されずに残ってしまうためである。

例えば、ｍ＝４のときに発生する１次乃至３次の折り返し成分について、式（８）の成立条件を検討すると、図１５中、陰が付されている移動速度ｖ（ピクセル／フレーム）の範囲では、式（８）が成立せず、超解像度効果を得ることができない。

この１次の折り返し成分については、例えば、ｖ＝４のとき、折り返し成分の位相回転間隔＝２π×１×（４／４）（２πｋφT）となり、折り返し成分の位相回転間隔は２πの１倍となるので、速度ｖ＝４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、１次式の折り返し成分が打ち消されなくなる。すなわちｖ＝４ｎ（ｎ＝０，１，２，３，・・・）のとき、位相回転間隔は２πのｎ倍となるので、ｖ＝４ｎを中心とする一定範囲においては、１次式の折り返し成分は打ち消されない。

２次の折り返し成分については、例えば、ｖ＝２のとき、位相回転間隔＝２π×２×（２／４）（２πの１倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×２×（４／４）（２πの２倍）となるので、速度ｖ＝２，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、２次式の折り返し成分が打ち消されなくなる。すなわちｖ＝２ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝２ｎを中心とする一定範囲においては、２次式の折り返し成分は打ち消されない。

３次の折り返し成分については、例えば、ｖ＝４／３のとき、位相回転間隔＝２π×３×（４／３）／４（２πの１倍）となり、ｖ＝８／３のとき、位相回転間隔＝２π×３×（８／３）／４（２πの２倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×３×４／４（２πの３倍）となるので、速度ｖ＝４／３，８／３，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、３次式の折り返し成分が打ち消されなくなる。すなわちｖ＝（４／３）ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝（４／３）ｎを中心とする一定範囲においては、３次式の折り返し成分は打ち消されない。

なお速度ｖ＝０のとき、位相回転間隔２πｋφT＝０となるので、１次乃至３次の折り返し成分のそれぞれは、ｖ＝０付近の一定範囲（０乃至ｖ_α1，０乃至ｖ_α2，０乃至ｖ_α3）において打ち消されなくなる。

ｍ＝３のときに存在する１次，２次の折り返し成分（図１６）およびｍ＝２のときに存在する１次の折り返し成分（図１７）についても、ｍ＝４を例として上述したように、位相回転間隔が２πの倍数を中心とする２αの範囲内となる速度では、各次式の折り返し成分は打ち消されない。

また図１３に示すように、折り返し成分の次数が上がるに従い、各次数における位相回転間隔は２倍、３倍と大きくなる。位相回転間隔をθとすれば被写体像Ｗaの移動速度ｖが小さく、位相回転間隔θがαより小さいときには式（８）が成立せず超解像度効果は得られない。被写体像Ｗaの移動速度ｖが上がり、位相回転間隔がαに達すると超解像度が得られる。このことから、αは超解像度効果が得られる臨界点（位相回転間隔）であると考えられる。このαは、表示画像フレームレートによって変化し、表示画像フレームレートが高いと小さくなる傾向にある。臨界点における被写体像Ｗaの移動速度をｖ_αとすると、式（９）が得られ、それを変形すると式（１０）が得られる。したがって表示画像フレームレートが高くなってαが小さくなると、速度ｖ_α（図１５の例の場合、ｖ_α1、ｖ_α2、またはｖ_α3）が小さくなり、その結果、移動量が小さくても超解像度効果が得られる。

また式（１０）から、臨界点におけるｖ_αは、間引き量ｍと折り返し成分の次数ｋに依存しており、間引き量ｍが大きくなると臨界点の速度ｖ_αも大きくなることがわかる。また次数ｋが大きくなると臨界点における速度ｖ_αは小さくなることから（図１５の例の場合、ｖ_α2はｖ_α1より小さく、ｖ_α3はｖ_α2より小さくなることから）、高次の折り返し成分における超解像度効果が得られない領域は狭くなることがわかる。

以上をまとめると、視覚系における超解像度効果について以下のことが言える。
・超解像度効果が得られる臨界点αは、高フレームレート表示において小さくなる。
・間引き量がｍのとき、１乃至ｍ−１次の折り返し成分が式（８）を満たす必要がある。
・間引き量ｍが小さくなると、臨界点における被写体像Ｗaの速度ｖ_αは小さくなる（間引き量ｍが小さい場合には、移動量が小さくても超解像度効果が得られる）。

以上から、被写体の移動速度（大きさと方向）に応じて間引き処理を行うことにより、超解像度効果を実現することができることがわかる。

なおこのように表示画像フレームレートを高くすることは超解像度効果を得るのに有利となるが、表示画像フレームレートを高くすれば、その他、動きぼけやジャーキネス等の画質劣化を改善することにも有利となる。

次に、本発明を適用した画像表示装置１の構成例を、図１８を参照して説明する。

画像入力部１１は、所定のフレームレートおよび所定の空間サンプリングレート(以下、単にサンプリングレートと称する)で構成される画像を入力し、それを内部データ形式に変換する。例えば、画像表示部１３の表示デバイスのフレームレートがＦで、表示画素数が（ｘ×ｙ）画素である時、フレームレートがＦで、画素数が（ｉｘ×ｊｙ）画素の画像を入力し、これを内部データ形式の入力フレームＦａに変換する。ｉ、ｊ、ｘ、およびｙは、それぞれ正の数である。

画像入力部１１は、変換した入力フレームＦａ（（ｉｘ×ｊｙ）画素）を画像変換部１２に供給する。

なお画像入力部１１は、アナログ信号を入力した場合、内蔵するアナログデジタル変換器（図示せず）により内部データ形式に従ったデジタル信号に変換する。

また、画像入力部１１は、SMPTE(Society of Motion Picture and Television Engineers)が標準化したテレビ信号、VESA(Video Electronics Standards Association)が標準化したアナログビデオ信号、またはDDWG(Digital Display Working Group)が標準化したDVI(Digital Visual Interface)信号などの画像信号にも対応可能である。

また、上述したように高フレームレートの方が、超解像度効果が得られやすいことから、入力フレームＦａのフレームレートが高い場合、画像入力部１１は、高フレームレートに対応することができるようになされている。

画像変換部１２は、画像入力部１１から供給された入力フレームＦａ（（ｉｘ×ｊｙ）画素）を、画像表示部１３が表示することができる解像度を有する表示フレームＦｂ（（ｘ×ｙ）画素）に変換する。画像変換部１２はその際、所定の大きさのブロック毎に、上述した超解像度効果を利用した解像度変換処理を実行することにより、表示フレームＦｂの画像を見た観測者が、その解像度を超える解像度（超解像度）で知覚するという視覚的効果（超解像度効果）を実現する。画像変換部１２は、生成した表示フレームＦｂを画像表示部１３に供給する。

画像表示部１３は、（ｘ×ｙ）画素の画素数を持つ表示デバイスで構成されており、画像変換部１２から供給された画像を、所定のフレームレートで表示する。上述したように高フレームレートの方が、超解像度効果が得られやすいことから、画像表示部１３は、高フレームレートに画像を表示することができるようになされている。

次に、画像変換部１２の構成を説明する。

画像変換部１２の移動量検出部２１は、いま画像入力部１１から供給された入力フレームＦａ（（ｉｘ×ｊｙ）画素）（現フレームＦａ）と、１フレーム時間、または数フレーム前に入力された入力フレームＦａ（前フレームＦａ）との間のブロックマッチング処理により、現フレームＦａのブロック画像（（ｉｐ×ｊｑ）画素）の動きベクトルを検出する。ｐおよびｑは、ともに正の整数である。この場合、入力フレームＦａの総ブロック数は、（ｘ／ｐ×ｙ／ｑ）となる。

移動量検出部２１は、入力フレームＦａをブロック単位で、検出した動きベクトルとともに画素数変換部２２に供給する。

画素数変換部２２は、移動量検出部２１から供給される入力フレームＦａのブロック画像（（ｉｐ×ｊｑ）画素）に対して、その動きベクトルから得られるＸ軸方向およびＹ軸方向のフレーム毎の移動量ｖ（ピクセル）（移動速度ｖ（ピクセル／フレーム））に応じた、Ｘ軸方向およびＹ軸方向のフィルタリングまたはサンプリング（間引き処理）を施す。画素数変換部２２は、その処理の結果得られた表示フレームＦｂのブロック画像（（ｐ×ｑ）画素）を総ブロック数（ｘ／ｐ×ｙ／ｑ）だけ集め、１枚の表示フレームＦｂ（（ｘ×ｙ）画素）を生成し、画像表示部１３に出力する。

次に、図１９を参照して、画像変換部１２の移動量検出部２１および画素数変換部２２の構成を説明する。

移動量検出部２１のフレームメモリ３１は、画像入力部１１から供給された入力フレームＦａ（現フレームＦａ）を記憶する。遅延回路３２は、現フレームＦａより１フレーム時間、または数フレーム時間前に入力された前フレームＦａを、その位相が現フレームＦａの位相と合うように遅延させる。遅延回路３２は、遅延させた前フレームＦａをフレームメモリ３３に供給する。フレームメモリ３３は、遅延回路３２からの前フレームＦａを記憶する。

ブロックマッチング回路３４は、フレームメモリ３１に記憶されている現フレームＦａとフレームメモリ３３に記憶されている前フレームＦａとの間で、（ｉｐ×ｊｑ）画素のブロック単位でのブロックマッチングをとり、現フレームＦａのブロック画像（（ｉｐ×ｊｑ）画素）の動きベクトルを検出する。ブロックマッチング回路３４は、現フレームＦａのブロック画像そのものを、画素数変換部２２の空間フィルタ処理部４１に供給し、検出したそのブロック画像の動きベクトルを、画素数変換部２２の制御部４４に供給する。

なお、この移動量検出部２１の構成は実施の一例であり、入力フレームＦａの各ブロックの動きベクトルを検出することが出来れば、他の構成をとることにしてもよい。

画素数変換部２２の空間フィルタ処理部４１には、移動量検出部２１のブロックマッチング回路３４からの入力フレームＦａのブロック画像（（ｉｐ×ｊｑ）画素）（図２０の左側参照）が入力される。空間フィルタ処理部４１は、空間解像度の帯域制限を行うデジタルフィルタであり、折り返し成分を軽減して制御部４４から与えられる所望の画素数に変換する。

具体的には空間フィルタ処理部４１は、制御部４４による制御に従って、入力フレームＦａのブロック画像（（ｉｐ×ｊｑ）画素）を、後段の空間間引き処理部４２で間引き量ｍx，ｍyで間引きが行われることによって、表示フレームＦｂのブロック画像（（ｐ×ｑ）画素）が得られるように空間フィルタリングし、（ｍxｐ×ｍyｐ）画素の画像（図２０の左側参照）に変換する。

空間フィルタ処理部４１は、変換した（ｍxｐ×ｍyｑ）画素の画像を、空間間引き処理部４２に供給する。なおｍxとｍyは、ともに正の整数である。

空間間引き処理部４２は、空間解像度の帯域制限を行わずに、元画像を間引きサンプリングして制御部４４から与えられる所望の画素数に変換する。

具体的には空間フィルタ処理部４１から供給された（ｍxｐ×ｍyｑ）画素（図２０の右側参照）の画像に対して、制御部４４から通知されたＸ軸方向の間引き量ｍx、およびＹ軸方向の間引き量ｍyに従って、Ｘ軸方向およびＹ軸方向の間引きを行い、（ｐ×ｑ）画素の画像（表示フレームＦｂのブロック画像）（図２０の右側参照）を生成する。空間間引き処理部４２は、生成した（ｐ×ｑ）画素の画像を、フレームメモリ４３に供給する。

なお図２０の例のように、ｍx＜ｉ、ｍy＜ｊである場合、間引き量は、制御部４４から通知されたｍxおよびｍyとなるが、ｍx＞i、ｍy＞ｊである場合、間引き量は、ｉまたはｊとなる。

図１９に戻り、フレームメモリ４３は、空間間引き処理部４２により供給されたブロック画像（（ｐ×ｑ）画素）を記憶し、１枚の表示フレームＦｂ（（ｘ×ｙ）画素）を生成する。

制御部４４には、移動量検出部２１からのブロック画像の動きベクトルが入力される。制御部４４は、動きベクトルから得られたＸ軸方向およびＹ軸方向の移動速度ｖから、折り返し成分の位相回転間隔が式（８）を満たす間引き量（のうちの最大値）ｍx，ｍyを検出する（超解像度効果が得られる条件を満たす間引き量を検出する）。

なお式（８）中のαは、上述したように視覚系で積分時間内に積分される画像の数によって変化するので、その値を適宜決定することは困難である。そこで本発明では、例えば、所定の移動速度ｖでＸ軸方向またはＹ軸方向に移動する被写体像Ｗaを、所定の間引き量ｍでサンプリングして表示し、表示された表示被写体像Ｗbを、観測者が実際に見て超解像度で知覚できたかを確認する実験を予め行い、その実験結果としての、超解像度効果があったときの移動速度ｖと間引き量ｍとの関係から間引き量ｍを決定するものとする。

図２１は、水平方向に移動する被写体像Ｗaについて上記実験を行った場合の実験結果を示している。

図２１には、間引き量ｍ＝４においては、速度ｖ＝４／３，２，８／３，４を中心とする一定範囲内の移動速度、間引き量ｍ＝３においては、速度ｖ＝３／２，３を中心とする一定範囲の移動速度、そして間引き量ｍ＝２においては、速度ｍ＝２，４を中心とする一定範囲の移動速度では、超解像度効果が得られないことが示されている。また移動速度ｖが０を始点とする所定の範囲Ｐ０内である場合（図中、速度ｖ0で表示されている速度以下では）、ｍ＝２，３，４のいずれにおいても超解像度効果は得られないことが示されている。

これは、図１５乃至図１７で参照した説明した、式（８）が成立しない移動速度ｖの範囲に対応するものである。

例えば、図２１におけるｍ＝４の部分と、図１５を対応させて表すと、図２２に示すようになる。１次の折り返し成分については、ｖ＝４ｎを中心とする一定範囲において、１次式の折り返し成分は打ち消されない。２次の折り返し成分については、ｖ＝２ｎを中心とする一定範囲において、２次式の折り返し成分は打ち消されない。そして３次の折り返し成分については、ｖ＝（４／３）ｎを中心とする一定範囲において、３次式の折り返し成分は打ち消されない。ｖ＝０付近の一定範囲においても、１次乃至３次の折り返し成分が打ち消されない。

すなわち１次乃至３次の折り返し成分のいずれか１つでも打ち消されない場合、その移動速度ｖの範囲では、ｍ＝４での間引きによっては、超解像度効果を得ることができない。図２２では、そのような超解像度効果が得られない範囲を、範囲Ｕ４ａ乃至範囲Ｕ４ｄで示してある。さらに、図２２では、ｍ＝４の場合に超解像度効果が得られる範囲を、範囲Ｐ４ａ乃至Ｐ４ｄで示してある。

また図２１にも、ｍ＝４の場合に超解像度効果が得られる範囲を、範囲Ｐ４ａ乃至Ｐ４ｄで示してある。同様に、図２１には、ｍ＝３の場合に超解像度効果が得られる範囲を、範囲Ｐ３ａ乃至Ｐ３ｃで示してあり、ｍ＝２の場合に超解像度効果が得られる範囲を、範囲Ｐ２ａ，Ｐ２ｂで示してある。

したがってこの例の場合、例えば、入力フレームＦａのブロック画像のＸ軸方向の移動速度ｖが、例えば、０から４／３の範囲の図２１においてｖａで示す速度である場合、間引き量は超解像度効果が得られる２（ピクセル）とされ、そのブロック画像のＸ軸方向が間引き量２で間引きされる。また例えば、入力フレームＦａのブロック画像のＸ軸方向の移動速度ｖが、例えば０から４／３の範囲のｖａよりも早いｖｂで示す速度である場合、超解像度効果が得られるｍ＝２，３，４の中の最大の４とされ、そのブロック画像のＸ軸方向が間引き量４で間引きされる。

なお、入力フレームＦａのブロック画像のＸ軸方向の移動速度ｖが、範囲Ｐ０内のものである場合（超解像度効果が得られない速度である場合）、間引き量ｍが１とされ、画素数変換はすべて空間フィルタ処理で行うようにする。すなわち本発明では、被写体像Ｗaの移動速度ｖが大きい領域に対しては、折り返し成分を含むように間引き処理をして超解像度効果を可能にし、移動速度が小さい（範囲Ｐ０）（超解像度効果が得られない範囲）の領域に対しては、折り返しがでないように空間フィルタ処理により帯域制限が行われる。

また高フレームレートならば、上述したように超解像度効果が得られない範囲が狭くなり（超解像度効果が得られる速度の範囲が大きくなり）、より大きい間引き量で間引きすることができるようになる。

この間引き量の選択をまとめると、図２１中のテーブルが得られる。すなわち制御部４４は、このテーブル（Ｙ軸方向についても同様なテーブル）に基づいて、間引き量が決定される。

制御部４４は、例えば、図２１に示したようなテーブルを記憶部４４Ａに記憶しており、そのテーブルにおいて、移動速度ｖに対応する間引き量ｍ（ｍx，ｍy）を検出する。制御部４４は、空間フィルタ処理部４１を制御して、入力フレームＦａのブロック画像（（ｉｐ×ｊｑ）画素）を、（ｍxｐ×ｍyｑ）画素に変換させ（帯域制限をする空間フィルタ処理による間引きを行わせ）、また空間間引き処理部４２を制御して、空間フィルタ処理部４１から供給された（ｍxｐ×ｍyｑ）画素の画像に対して、間引き量ｍx，ｍyでの間引きを行わせる（帯域制限をしない間引きを行わせる）。

制御部４４は、移動速度ｖが範囲Ｐ０内にある場合、ｍ＝２，３，４のいずれにおいても超解像度効果は得られないので、この場合、間引き量を１として画素変換はすべて空間フィルタ処理部４１によるフィルタ処理で行うようにする。

次に、画像変換部１２の動作を、図２３のフローチャートを参照して説明する。

ステップＳ１において、画像変換部１２の移動量検出部２１のブロックマッチング回路３４は、ブロック番号を初期化し（例えば、１に初期化し）、ステップＳ２において、入力フレームＦａの全ブロックについて動きベクトルを検出したか否かを判定する。

ステップＳ２で、全ブロックについて動きベクトルの検出がなされていないと判定された場合、ステップＳ３に進み、移動量検出部２１のブロックマッチング回路３４は、ブロック番号で示されるブロック画像について、ブロックマッチング処理を行い、そのブロック画像の動きベクトルを検出する。なお、総ブロック数は（ｘ／ｐ×ｙ／ｑ）個であり、入力フレームＦａの各ブロック画像は、ブロック番号１乃至番号（ｘ／ｐ×ｙ／ｑ）でそれぞれ識別できるようになされている。

具体的には、ブロックマッチング回路３４は、現フレームＦａの対象ブロック画像と前フレームＦａの探索領域内の任意ブロック画像を比較し、平均二乗誤差が最小になる、前フレームＦａのブロック位置を検出し、現フレームＦａの対象ブロックと検出した前フレームＦａのブロックを結ぶベクトルを動きベクトルとする。ブロックマッチング回路３４は、現フレームＦａのブロック画像を画素数変換部２２の空間フィルタ処理部４１に供給し、そのブロック画像の動きベクトルを、制御部４４に供給する。

次に、ステップＳ４において、画素数変換部２２の制御部４４は、移動量検出部２１（ブロックマッチング回路３４）から供給された動きベクトルに基づいて、Ｘ軸方向の移動速度ｖ（移動量ｖ）を求める。そして制御部４４は、保持する、図２１に示した移動速度ｖと間引き量ｍとの関係を表すテーブルから、その移動速度ｖ（移動量ｖ）に対応する間引き量ｍxを検出する。

ステップＳ５において、制御部４４は、移動量検出部２１（ブロックマッチング回路３４）から供給された動きベクトルに基づいて、Ｙ軸方向の移動速度ｖ（移動量ｖ）を検出する。そして制御部４４は、保持する、Ｙ軸方向の移動速度ｖと間引き量ｍとの関係を表すテーブルから、その移動速度ｖ（移動量ｖ）に対応する間引き量ｍyを検出する。

次に、ステップＳ６において、画素数変換部２２の制御部４４は、空間フィルタ処理部４１を制御して、移動量検出部２１から供給された入力フレームＦａのブロック画像（（ｉｐ×ｊｑ）画素）を、（ｍxｐ×ｍyｑ）画素の画像に解像度変換させる（図２０の左側参照）（ブロック画像を空間フィルタ処理させる）。

制御部４４は、例えば間引き量ｍx＝４である場合、空間フィルタ処理部４１を制御して、（４ｐ×ｑ）画素の画像を得るための空間フィルタ処理を行わせる。また、制御部４４は、間引き量ｍx＝３である場合、空間フィルタ処理部４１を制御して、（３ｐ×ｑ）画素の画像を得るための空間フィルタ処理を行わせる。ここではＸ軸方向の画素を例して説明したが、Ｙ軸方向の画素についても同様である。

次に、ステップＳ７において、制御部４４は、空間間引き処理部４２を制御して、ステップＳ４，Ｓ５で決定した間引き量ｍx，ｍyに従って、空間フィルタ処理部４１から供給された（ｍxｐ×ｍyｑ）画素の画像を間引きさせる。これにより、空間間引き処理部４２は、空間フィルタ処理部４１から供給された（ｍxｐ×ｍyｑ）画素のブロック画像に対して、Ｘ軸方向については間引き量ｍxでの、そしてＹ軸方向については間引き量ｍyでの間引き処理を行う。その結果、（ｐ×ｑ）画素のブロック画像が得られる（図２０の右側参照）。

例えば、間引き量ｍx＝４であるとき、空間フィルタ処理部４１により供給された（４ｐ×ｑ）の画素に対して、Ｘ軸方向について間引き量４での間引き処理が行われて、（ｐ×ｑ）画素のブロック画像が生成される。間引き量ｍx＝３であるとき、空間フィルタ処理部４１により供給された（３ｐ×ｑ）画素の画像に対して、Ｘ軸方向について間引き量３での間引き処理が行われて、（ｐ×ｑ）画素のブロック画像が生成される。

なお空間間引きが行われると折り返し成分が発生するが、間引き量ｍx，ｍyは、式（８）を満たす間引き量であるので、その折り返し成分は互いに打ち消し合い存在しなくなる。

空間間引き処理部４２は、間引き処理の結果得られた（ｐ×ｑ）画素のブロック画像をフレームメモリ４３に供給する。フレームメモリ４３は、そのブロック画像を所定の位置に記憶し、１枚の表示フレームＦｂを合成する。

ステップＳ８において、移動量検出部２１のブロックマッチング回路３４は、ブロック番号を１だけインクリメントする。

その後、ステップＳ２に戻り、それ以降の処理が行われる。

ステップＳ２で、全ブロックについて動きベクトル検出がなされたと判定されたとき、処理は終了する。

このように１枚の入力フレームＦａの解像度が、ブロック毎に、ステップＳ３乃至ステップＳ７の処理で変換されることによって、１枚の表示フレームＦｂが生成され、表示画像フレームレートで表示されるように画像表示部１３に出力される。その結果、観測者は、表示被写体像Ｗbの解像度を超える解像度の画像を知覚し得るが、超解像度効果により観測者が知覚する空間解像度は、表示フレームＦｂのブロック画像（（ｐ×ｑ）画素）のＸ軸方向がｍｘ倍、Ｙ軸方向がｍｙ倍になった（ｍxｐ×ｍyｑ）画素の画像の解像度に相当する。

以上のように、画像のブロック毎に動きを検出し、空間フィルタ処理部４１と空間間引き処理部４２それぞれにおいて、適切な空間フィルタ処理と空間間引き処理を行うようにしたので、動きがある程度以上のブロックについては、超解像度効果が得られ、動きが小さいブロックについては、折り返し歪みを低減し、全体として、高画質の画像を知覚することが可能となる。

さらに、従来のように表示素子の構造は変えることなく、超解像度効果を容易に得ることができる。

図２４は、本発明を適用した画像処理装置５１の構成例を示している。この画像処理装置には、図１８の画像表示装置１の画像表示部１３に代えて、画像出力部６１が設けられている。他の部分は、図１８の画像表示装置１の場合と同様であるので、その説明は省略する。

画像処理装置５１の画像変換部１２は、図１８の例の場合と同様に、画像入力部１１から入力された入力フレームＦａを、表示装置５２で表示可能な解像度を有する表示フレームＦｂに変換する。画像変換部１２は、生成した表示フレームＦｂを、画像出力部６１に出力する。

画像出力部６１は、画像変換部１２から供給された表示フレームＦｂの画像信号を、表示装置５２で受信可能な画像信号フォマットに変換し、表示装置５２に出力する。表示装置５２は、基本的には、図１８の画像表示部１３と同様に構成され、画像処理装置５１（画像出力部６１）から供給された画像信号に対応する画像を表示デバイスに表示する。

すなわち本発明は、表示装置を構成要素としない画像処理装置にも適用することができる。

上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した管理装置２が機能的に実現される。

図２５は、上述のような画像表示装置１および画像処理装置５１として機能するコンピュータ１０１の一実施の形態の構成を示すブロック図である。CPU（Central Processing Unit）１１１にはバス１１５を介して入出力インタフェース１１６が接続されており、CPU１１１は、入出力インタフェース１１６を介して、ユーザから、キーボード、マウスなどよりなる入力部１１８から指令が入力されると、例えば、ROM（Read Only Memory）１１２、ハードディスク１１４、またはドライブ１２０に装着される磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、若しくは半導体メモリ１３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）１１３にロードして実行する。これにより、上述した各種の処理（例えば、図２３のフローチャートにより示される処理）が行われる。さらに、CPU１１１は、その処理結果を、例えば、入出力インタフェース１１６を介して、LCD（Liquid Crystal Display）などよりなる表示部１１７に必要に応じて出力する。なお、プログラムは、ハードディスク１１４やROM１１２に予め記憶しておき、コンピュータ１０１と一体的にユーザに提供したり、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３，半導体メモリ１３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部１１９を介してハードディスク１１４に提供することができる。

なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

ブロックの法則を説明する図である。 解像度変換処理の原理を説明する図である。 サンプリング位置を説明する図である。 折り返し成分を説明する図である。 折り返し成分の位相の変化を説明する図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の回転間隔を説明する他の図である。 折り返し成分の位相の回転間隔を説明する他の図である。 折り返し成分を説明する他の図である。 折り返し成分の位相の回転間隔を説明する他の図である。 超解像度効果を得るための折り返し成分の位相を説明する図である。 超解像度効果を得ることができない速度範囲を示す図である。 超解像度効果を得ることができない速度範囲を示す他の図である。 超解像度効果を得ることができない速度範囲を示す他の図である。 本発明を適用した画像表示装置の構成例を示すブロック図である。 図１８の動き検出部および画素数変換部の構成例を示すブロック図である。 図１８の画素数変換部の動作を説明する図である。 超解像度効果を得ることができる場合の画像の移動速度と間引き量との関係を示す図である。 超解像度効果を得ることができる場合の画像の移動速度と間引き量との関係を示す他の図である。 図１９の画像処理部の動作を説明するフローチャートである。 本発明を適用した画像処理装置の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像表示装置， １１ 画像入力部， １２ 画像変換部， １３ 画像表示部， ２１ 移動量検出部， ２２ 画素数変換部， ３１ フレームメモリ， ３２ 遅延回路， ３３ フレームメモリ， ３４ ブロックマッチング回路， ４１ 空間フィルタ処理部， ４２ 空間間引き処理部， ４３ フレームメモリ， ４４ 制御部， ５１ 画像処理装置， ５２ 表示装置， ６１ 画像出力部

Claims (16)

1. 第１の解像度を持つ画像信号を入力する画像入力ステップと、
   入力された前記画像信号を、前記第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換ステップと、
   解像度変換された前記画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップと
   を有する画像表示方法であって、
   前記解像度変換ステップは、前記画像入力ステップで入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された前記移動量に基づいて決定される空間間引き量で、前記所定のフレームレートで表示する表示手段が前記第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う
   ことを特徴とする画像表示方法。
2. 前記領域の横方向の移動量に基づいて横方向の前記空間間引き量を決定するとともに、前記領域の縦方向の移動量に基づいて縦方向の前記空間間引き量を決定する
   ことを特徴とする請求項１記載の画像表示方法。
3. 前記フレームレートが高い場合に、前記空間間引き処理における空間間引き量を大きくする
   ことを特徴とする請求項１記載の画像表示方法。
4. 任意のフレームの前記空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように前記空間間引き量が決定される
   ことを特徴とする請求項１記載の画像表示方法。
5. 前記解像度変換ステップは、入力された前記画像信号に空間フィルタ処理を施した信号に対して、前記空間間引き処理を行う
   ことを特徴とする請求項１記載の画像表示方法。
6. 前記解像度変換ステップは、前記画像入力ステップで入力された画像信号を複数の領域に分割し、分割された領域毎に前記移動量を検出する
   ことを特徴とする請求項１記載の画像表示方法。
7. 第１の解像度を持つ画像信号を入力する画像入力ステップと、
   入力された前記画像信号を、前記第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換ステップと、
   解像度変換された前記画像信号を所定のフレームレートで表示手段に表示させる画像表示制御ステップとを有する画像表示方法であって、
   前記解像度変換ステップは、前記画像入力ステップで入力された画像信号を複数の領域に分割してその領域毎の移動量を検出し、検出された前記移動量に基づいて各領域の空間間引き量を設定するとともに、入力された前記画像信号の前記各領域に対して空間フィルタ処理を施した後で、前記設定された空間間引き量に基づいて前記領域毎に前記所定のフレームレートで表示する表示手段が前記第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う
   ことを特徴とする画像表示方法。
8. 第１の解像度を持つ画像信号を入力する画像入力手段と、
   前記画像入力手段に入力された画像信号を、前記第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換手段と、
   前記解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する画像表示装置であって、
   前記解像度変換手段は、前記画像入力手段により入力された画像信号の少なくとも一部の領域の移動量を検出する移動量検出部と、検出された前記移動量に基づいて決定される空間間引き量で、前記所定のフレームレートで表示する表示手段が前記第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部とを有する
   ことを特徴とする画像表示装置。
9. 前記領域の横方向の移動量に基づいて横方向の前記空間間引き量が決定されるとともに、前記領域の縦方向の移動量に基づいて縦方向の前記空間間引き量が決定される
   ことを特徴とする請求項８記載の画像表示装置。
10. 前記フレームレートが高い場合には、前記空間間引き処理における空間間引き量が大きくされる
    ことを特徴とする請求項８記載の画像表示装置。
11. 任意のフレームの前記空間間引き処理では、当該フレームと時間的に前後に隣接する所定数のフレームにおける当該空間間引き処理された信号のすべての折り返し成分が、互いに打ち消し合うように前記空間間引き量が決定される
    ことを特徴とする請求項８記載の画像表示装置。
12. 前記解像度変換手段は、前記移動量に対応した空間間引き量のテーブルを記憶するための記憶部をさらに有し、前記テーブルを参照することにより、前記空間間引き量が決定される
    ことを特徴とする請求項８記載の画像表示装置。
13. 前記解像度変換処理部は、入力された前記画像信号に空間フィルタ処理を施した信号に対して、前記空間間引き処理を行う
    ことを特徴とする請求項８記載の画像表示装置。
14. 前記移動量検出部は、前記画像入力手段により入力された画像信号を複数の領域に分割し、分割された領域毎に移動量を検出する
    ことを特徴とする請求項８記載の画像表示装置。
15. 第１の解像度を持つ画像信号を入力する画像入力手段と、
    前記画像入力手段に入力された画像信号を、前記第１の解像度より低い第２の解像度を持つ画像信号に変換する解像度変換手段と、
    前記解像度変換手段で解像度変換された画像信号を所定のフレームレートで表示手段に表示させる画像表示制御手段とを有する画像表示装置であって、
    前記解像度変換手段は、
    前記画像入力手段に入力された画像信号を複数の領域に分割して領域毎に移動量を検出する移動量検出部と、
    検出された前記移動量に基づいて各領域の空間間引き量を設定するとともに、入力された画像信号の前記各領域に対して空間フィルタ処理を施した後で、前記設定された空間間引き量に基づいて前記領域毎に前記所定のフレームレートで表示する表示手段が前記第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行う解像度変換処理部と
    を有することを特徴とする画像表示装置。
16. コンピュータに、
    第１の解像度を持つ画像信号の入力を制御する画像入力制御ステップと、
    入力された前記画像信号の、前記第１の解像度より低い第２の解像度を持つ画像信号への変換を制御する解像度変換制御ステップと、
    解像度変換された前記画像信号に対応する画像を所定のフレームレートで表示手段に表示させる画像表示制御ステップと
    を含む処理を実行させるための画像表示用のプログラムであって、
    前記解像度変換制御ステップは、前記画像入力制御ステップの処理で入力された画像信号の少なくとも一部の領域の移動量を検出し、検出された前記移動量に基づいて決定される空間間引き量で、前記所定のフレームレートで表示する表示手段が前記第２の解像度を越える解像度を有するような視覚効果を与える空間間引き処理を行うことを特徴とするプログラム。

Images