JP2006203463A

JP2006203463A - 画像表示方法、画像撮像方法、及び画像合成方法

Info

Publication number: JP2006203463A
Application number: JP2005011899A
Authority: JP
Inventors: Makoto Hirai; 誠平井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-01-19
Filing date: 2005-01-19
Publication date: 2006-08-03
Also published as: CN1808557A; US20060158545A1

Abstract

【課題】
表示デバイスの画素数以上の画素を有する高解像度の画像として認識されるように、画像を表示する。
【解決手段】
画像表示方法として、表示デバイスの変位を検出するステップと、前記表示デバイス上の画像を、前記表示デバイスの変位とは逆向きに、かつ、前記表示デバイスの変位に応じた大きさだけ、サブピクセル単位で移動させて表示するステップとを備える。
【選択図】図１

Description

本発明は、画像を撮像又は表示する技術に関し、特に、撮像又は表示される画像の画質を改善する技術に関する。

人の手に保持された状態で画像の撮像や表示をする機器においては、手振れを補正することは重要である。例えば、表示デバイスの移動による変位を検出し、その変位とは逆向きに表示デバイス上の画像表示位置を移動させる技術が、特許文献１に開示されている。また、撮像デバイスの画素サイズ未満の移動を利用して、撮像デバイスの画素数を超える画素数の画像を得る技術が、特許文献２に開示されている。
特開２００２−１２３２４２号公報特開平７−２８３９９９号公報

しかしながら、画質の観点からは、手振れを完全に補正するよりも、適度な手振れを残す方が、好ましい画質で記録・伝送・表示できることがある。これは、撮像デバイスの画素サイズ未満の移動によって得られた一連の画像を観た人間の脳が、撮像デバイスの画素よりも小さいサイズの画素の値を推定して、高解像度の画像として認識可能なためである。そこで、画質改善の観点から、画素サイズ未満つまりサブピクセル単位の手振れ補正方法が求められている。

また、特許文献２には、撮像デバイスの画素サイズ未満の移動位置で撮像した画素値を、そのまま、撮像デバイスよりも画素数の多い出力画像の該当する位置の画素値として使用する方法が開示されている。しかし、撮像デバイスの画素の値をそのまま用いたのでは、画質の大きな改善は望めない。そこで、デジタル画像に対する高精度なサブピクセル単位での画素値推定を行う画像撮像方法が望まれている。

本発明は、表示デバイスの画素数以上の画素を有する高解像度の画像として認識されるように、画像を表示することを目的とする。

また、本発明は、撮像デバイスの画素数を有する画像以上の情報を有する画像を撮像することを目的とする。

前記課題を解決するため、請求項１の発明が講じた手段は、画像表示方法として、表示デバイスの変位を検出するステップと、前記表示デバイス上の画像を、前記表示デバイスの変位とは逆向きに、かつ、前記表示デバイスの変位に応じた大きさだけ、サブピクセル単位で移動させて表示するステップとを備えるものである。

これによると、表示デバイスが固定されている場合よりも多くの点において画素を表示することができるので、表示デバイスの解像度以上の高解像度の画像として認識されるように、画像を表示することができる。

請求項２の発明では、請求項１に記載の画像表示方法において、前記画像を表示するステップは、前記表示デバイスの変位を、画素単位の変位と、残りの１画素未満の変位とに分けるステップと、前記表示デバイス上の画像に前記１画素未満の変位に応じた大きさの移動をさせた画像を、補間により求めるステップと、前記補間により求められた画像に、前記画素単位の変位に応じた大きさの移動をさせるステップとを備えるものである。

請求項３の発明は、投射型の画像表示装置による画像表示方法であって、画像が投射され得る領域を所定のパターンに従ってサブピクセル単位で移動させるステップと、前記領域が移動する毎に、前記領域の変位とは逆向きに、前記変位に応じた大きさの移動をさせた画像を、補間により求めるステップと、前記求められた画像を投射するステップとを備えるものである。

これによると、投射される画素の位置がサブピクセル単位で移動するので、投射型の画像表示装置による高解像度の画像表示を行うことができる。

請求項４の発明は、投射型の画像表示装置による画像表示方法であって、前記画像表示装置の動きに基づいて、画像が投射され得る領域の変位を検出するステップと、前記領域に投射される画像を、前記領域の変位とは逆向きに、かつ、前記領域の変位に応じた大きさだけ、サブピクセル単位で移動させて表示するステップとを備えるものである。

これによると、画像表示装置が固定されている場合よりも多くの点において画素を表示することができるので、その表示デバイスの解像度以上の高解像度の画像として認識されるように、画像を表示することができる。

請求項５の発明は、画像表示方法として、撮像デバイス上における入射画像を、所定のパターンに従ってサブピクセル単位で移動させながら複数の画像を撮像するステップと、表示デバイスの変位を検出するステップと、前記表示デバイス上の画像を、前記表示デバイスの変位とは逆向きに、かつ、前記表示デバイスの変位に応じた大きさだけ移動させた画像を、前記複数の画像から選択して表示するステップとを備えるものである。

これによると、画像を補間により求めることなく、表示デバイスの解像度以上の高解像度の画像として認識されるように、画像を表示することができる。

請求項６の発明は、請求項５に記載の画像表示方法において、前記複数の画像とそれぞれの画像の変位とを縮小するステップを更に備え、前記画像を選択して表示するステップは、前記縮小後の各画像の変位に基づいて、前記縮小後の複数の画像から画像を選択するものである。

請求項７の発明は、画像表示方法として、撮像デバイス上における入射画像を、所定のパターンに従ってサブピクセル単位で移動させながら複数の画像を撮像するステップと、前記複数の画像、及びそれぞれの画像の変位に基づいて、画素値を推定して、前記複数の画像のそれぞれよりも画素数が多い画像を推定し、表示するステップとを備えるものである。

これによると、撮像された複数の画像の枚数に応じた数の画素値を推定して、高解像度の画像を推定し、表示することができる。

請求項８の発明は、請求項７に記載の画像表示方法において、前記複数の画像と、それぞれの画像の変位とを縮小するステップを更に備え、前記画像を推定して表示するステップは、前記縮小後の複数の画像、及び前記縮小後の各画像の変位に基づいて、前記縮小後の複数の画像のそれぞれよりも画素数が多い画像を推定し、表示するものである。

請求項９の発明は、請求項７に記載の画像表示方法において、前記所定のパターンの情報を伝送するステップを更に備え、前記画像を推定して表示するステップは、伝送された前記所定のパターンの情報を前記複数の画像の変位として用いるものである。

請求項１０の発明では、請求項７に記載の画像表示方法において、前記画像を合成して表示するステップは、前記複数の画像自身に基づいて、前記複数の画像のそれぞれの変位を求めるものである。

請求項１１の発明は、画像撮像方法として、撮像デバイスによって第１の画像を撮像するステップと、前記撮像デバイス上における入射画像を、所定のパターンに従ってサブピクセル単位で移動させるステップと、前記移動後の入射画像を第２の画像として撮像するステップと、前記第１及び第２の画像、並びに前記第１の画像に対する前記第２の画像の変位に基づいて、画素値を推定して、前記第１及び第２の画像よりも画素数が多い第３の画像を推定するステップとを備えるものである。

これによると、サブピクセル単位で移動させた入射画像を撮像し、画素値の推定を行うので、撮像デバイスよりも画素数が多い画像を得ることができる。

請求項１２の発明では、請求項１１に記載の画像撮像方法において、前記入射画像を移動させるステップと、前記移動後の入射画像を第２の画像として撮像するステップとを繰り返し、前記第３の画像を推定するステップは、前記第１の画像及び複数の前記第２の画像に基づいて推定を行うものである。

請求項１３の発明では、請求項１１に記載の画像撮像方法において、前記第３の画像を推定するステップは、最小二乗法を用いて画像の推定を行うものである。

請求項１４の発明は、画像撮像方法として、撮像デバイスによって第１の画像を撮像するステップと、前記撮像デバイス上における入射画像が移動した後に第２の画像を撮像するステップと、前記第１の画像に対する前記第２の画像の変位を検出するステップと、前記第２の画像の変位を、画素単位の変位と、残りの１画素未満の変位とに分けるステップと、前記第２の画像を前記画素単位の変位とは逆向きに前記画素単位の変位だけ移動させるステップと、前記第１の画像、前記移動後の第２の画像、及び前記１画素未満の変位に基づいて、画素値を推定して、前記第１の画像及び前記移動後の第２の画像よりも画素数が多い第３の画像を推定するステップとを備えるものである。

これによると、撮像デバイスが固定されている場合よりも多くの点において入射光を捉えることができるので、撮像デバイスよりも画素数が多い画像を得ることができる。

請求項１５の発明では、請求項１４に記載の画像撮像方法において、前記第２の画像を撮像するステップを繰り返し、前記第３の画像を推定するステップは、前記第１の画像及び複数の前記第２の画像に基づいて推定を行うものである。

請求項１６の発明では、請求項１４に記載の画像撮像方法において、前記第３の画像を推定するステップは、最小二乗法を用いて画像の推定を行うものである。

請求項１７の発明は、画像撮像方法として、撮像デバイスの動きを検出するステップと、前記撮像デバイスの動きに、所定のパターンの動きを加算するステップと、前記加算後の動きによる影響を打ち消すように、前記撮像デバイスへの入射画像を変位させるステップと、前記入射画像を撮像するステップとを備えるものである。

これによると、手振れを打ち消すとともに、所定のパターンの動きによる意図的なぶれを有する画像を撮像することができる。

請求項１８の発明は、請求項１７に記載の画像撮像方法において、複数の所定のパターンの中から１つを選択するステップを更に備え、前記所定のパターンの動きを加算するステップは、前記選択されたパターンに従って、動きを加算するものである。

請求項１９の発明は、画像合成方法として、第１の画像に対する第２の画像の変位を、画素単位の変位と、残りの１画素未満の変位とに分けるステップと、前記第２の画像を前記画素単位の変位とは逆向きに前記画素単位の変位だけ移動させるステップと、前記第１の画像、前記移動後の第２の画像、及び前記１画素未満の変位に基づいて、画素値を推定して、前記第１の画像及び前記移動後の第２の画像よりも画素数が多い第３の画像を推定するステップとを備えるものである。

請求項２０の発明は、請求項１９に記載の画像合成方法において、前記第１の画像に対する前記第２の画像の変位を検出するステップを更に備えるものである。

請求項２１の発明では、請求項１９に記載の画像合成方法において、複数の画像を前記第２の画像として用い、前記第３の画像を推定するステップは、前記第１の画像及び複数の前記第２の画像に基づいて推定を行うものである。

請求項２２の発明では、請求項１９に記載の画像合成方法において、前記第３の画像を推定するステップは、最小二乗法を用いて画像の推定を行うものである。

本発明によると、撮像デバイスの画素数以上の画素を有する高解像度の画像を撮像することができ、表示デバイスの画素数以上の画素を有する高解像度の画像として認識されるように、画像を表示することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像撮影表示システムのブロック図である。図１の画像撮影表示システムは、撮像装置１０，２０と、画像表示装置３０と、投射型の画像表示装置としての液晶プロジェクタ４０と、静止画像記録伝送部２とを備えている。撮像装置１０，２０、画像表示装置３０及び液晶プロジェクタ４０は、それぞれ単独で動作することも可能である。この画像撮影表示システムは、静止画の撮像及び表示を目的としている。

撮像装置１０は、手振れセンサ１１と、擬似手振れ信号加算部１２と、光学補正部１４と、撮像デバイス１５と、画像合成部１８とを備えている。

光学補正部１４は、入射画像ＩＰを補正信号に従って光学的に制御して、撮像デバイス１５上における画像を移動させる。光学補正部１４は、例えばアクティブプリズムである。撮像デバイス１５は、例えばＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサであって、入射画像ＩＰを撮像し、得られた画像を画像合成部１８に出力する。

手振れセンサ１１は、手振れによって撮像デバイス１５に与えられた加速度、角加速度等を検出し、手振れによって生じた、撮像デバイス１５上における入射画像ＩＰの変位を求め、擬似手振れ信号加算部１２に出力する。

擬似手振れ信号加算部１２は、求められた入射画像ＩＰの変位に、所定のパターンに従った変位を加算し、得られた加算後の変位を光学補正部１４に出力する。また、擬似手振れ信号加算部１２は、加算された所定のパターンに従った変位を画像合成部１８に出力する。光学補正部１４は、入射画像ＩＰを加算後の変位とは逆の向きに加算後の変位だけ移動させる。

撮像装置１０を手で持って撮像する場合には、手振れセンサ１１は撮像デバイス１５の動きを検出し、擬似手振れ信号加算部１２は、撮像デバイス１５の動きに、所定のパターンに従った擬似的な手振れによる動きを加算する。更に、光学補正部１４は、加算後の動きによる影響を打ち消すように、撮像デバイス１５への入射画像ＩＰを変位させ、撮像デバイス１５が入射画像ＩＰを撮像する。撮像デバイス１５は、撮像された画像を静止画像記録伝送部２に出力する。

したがって、この場合、手振れを打ち消すとともに、所定のパターンの動きによるぶれを有する画像を撮像することができる。つまり、意図的なぶれのみを画像に与えることができる。

擬似手振れ信号加算部１２は、撮影が上手な人の自然な手振れや、有名なカメラマンの撮影テクニックを擬似的に再現した手振れを擬似的な手振れのパターンとして複数格納しておき、撮影状況や撮影対象に応じて１つを選択し、選択されたパターンに従って動きを加算するようにしてもよい。

以下では、撮像装置１０は固定されているものとし、擬似手振れ信号加算部１２は、所定のパターンに従った変位（擬似的な手振れ）のみを光学補正部１４に出力しているものとして説明する。

図２（ａ），（ｂ）は、それぞれ、所定のパターンに従った変位の時間的変化の例を示す説明図である。擬似手振れ信号加算部１２は、図２（ａ）又は（ｂ）のように所定のパターンに従って変位を変化させ、撮像デバイス１５上における入射画像をサブピクセル単位で移動させる。サブピクセル単位で移動とは、１画素未満の精度で移動させることを意味する。ここでは、変位の各成分は、１画素未満であるものとする。

撮像デバイス１５は、パターンの最初の変位に対応した入射画像を撮像する。その後、擬似手振れ信号加算部１２が変位を変化させることと、撮像デバイス１５が光学補正部１４によって移動させられた入射画像を撮像することとを繰り返す。すなわち、撮像デバイス１５は、擬似手振れ信号加算部１２によって与えられる変位が変化する毎に、互いに異なる複数の画像を撮像する。撮像デバイス１５は、撮像した画像を画像合成部１８に出力する。擬似手振れ信号加算部１２は、このようなパターンを複数格納しておき、撮影状況や撮影対象に応じて複数のパターンから１つを選択し、選択されたパターンに従って変位を加算するようにしてもよい。

図３は、撮像デバイス１５上の画素をサブピクセル単位で移動させた場合における、入射画像を構成する入射光と撮像デバイス出力との関係を示す概念図である。図３において、入射光ｉ０，ｉ１，ｉ２，ｉ３，ｉ４，ｉ５，ｉ６，ｉ７の間隔は、撮像デバイス１５の画素間隔の３分の１であるとする。

撮像デバイス１５上の入射画像を移動させる前においては、画素ＥＬ０に入射光ｉ０〜ｉ２が入射し、これらの入射光と出力信号ｏ００との間の関係は、

のように表すことができる。式（１）の係数ａ０，ａ１，ａ２は、予め既知の入射光ｉ０〜ｉ２と出力信号ｏ００との間の関係を測定しておくことによって得ることができる。

次に、撮像デバイス１５上の画像を移動させた場合について考える。ここでは便宜上、図３のように、入射光ではなく、撮像デバイス１５を変位ＭＶ１だけ移動させた図に基づいて考える。この場合、画素ＥＬ０に入射光ｉ１〜ｉ３が入射し、これらの入射光と出力信号ｏ０１との間の関係は、式（２）、すなわち、

のように表すことができる。式（２）の係数ａ１１，ａ２１，ａ３１は、予め既知の入射光ｉ１〜ｉ３と出力信号ｏ０１との間の関係を測定しておくことによって得ることができる。

次に、撮像デバイス１５上の画像を更に移動させた場合について考える。ここでは便宜上、入射光ではなく、撮像デバイス１５を変位ＭＶ２だけ更に移動させた図に基づいて考える。この場合、画素ＥＬ０に入射光ｉ２〜ｉ４が入射し、これらの入射光と出力信号ｏ０２との間の関係は、式（３）、すなわち、

のように表すことができる。式（３）の係数ａ２２，ａ３２，ａ４２は、予め既知の入射光ｉ２〜ｉ４と出力信号ｏ０２との間の関係を測定しておくことによって得ることができる。同様に、画素ＥＬ１についても、入射光ｉ３〜ｉ７と出力信号ｏ１０，ｉ１１，ｉ１２との間の関係は、式（１）〜（３）のように表すことができる。

式（１）〜（３）をまとめて表すと、

となる。式（４）において、行列Ａは特性行列である。このように、式（４）は、３枚の画像と、撮像デバイス１５の３倍の解像度の入射光との関係を示している。同様に、式（４）のように、Ｎ（ＮはＮ≧２を満たす整数）枚の画像と、撮像デバイス１５のＮ倍の解像度の入射光との間の関係が得られている場合には、特性行列の逆行列が得られると、この逆行列を出力信号に乗じることによって入射光を推定することができ、撮像デバイス１５のＮ倍の解像度の画像を得ることができる。

図２（ａ），（ｂ）のように、擬似手振れ信号加算部１２が変位を変化させることにより、式（４）のような関係を得ることができる。画像合成部１８は、式（４）に基づいて、ある時点で撮像された画像と、その後、擬似手振れ信号加算部１２が変位を変化させた後に撮像された画像と、前者に対する後者の変位とに基づいて、画素値を推定して、これらの画像よりも画素数が多い画像を推定し、静止画像記録伝送部２に出力する。

静止画像記録伝送部２は、画像合成部１８で推定された第３の画像を画像表示装置３０，４０に伝送する。また、静止画像記録伝送部２は、画像合成部１８の出力をメモリカード等に書き込み、更にメモリカード等からデータを読出して画像表示装置３０，４０に出力するものであってもよい。

このように、図１の撮像装置１０によると、所定のパターンに従った変位を入射画像に与えることにより、撮像デバイス１５で本来得られる画像よりも画素数が多い高精細な静止画像を撮像することができる。

また、十分な枚数の撮像が可能な場合には、画像合成部１８は、式（５）、すなわち、

を用いて、最小二乗法による画像の推定を行う。すると、推定の精度を改善することができる。撮像されたＮ枚の画像に基づいて画像を推定する場合には、撮像された画像のＮ倍の画素数の画像を推定することができる。撮像枚数がＮ枚未満に制限された場合にも、最小二乗法による推定が可能である。以上のようにして、画像合成部１８で推定された、画素数が多い高解像度の画像を、記録又は伝送することができる。

撮像中に画像が変化した場合には、ぶれを有する画像が得られる。このような被写体の時間的変化によるぶれを軽減するために、画像合成部１８は、画像の変化した領域を検出し、この領域については以上のような高解像度の画像の推定は行わず、撮像された画像のうちの１つを選択して、推定された他の領域と合成するようにしてもよい。

望遠撮影時等のように、手振れセンサ１１の精度や、擬似手振れ信号加算部１２によって加算される変位の精度が十分ではない場合がある。このような場合、図１の撮像装置２０は、画像自体から画像の動きを推定する。撮像装置２０は、撮像デバイス２５と、補正部２６と、移動量検出部２７と、画像合成部２８とを備えている。

撮像デバイス２５は、撮像デバイス１５と同様のものである。撮像デバイス２５は、まず、基準となる第１の画像を撮像し、その後、撮像デバイス２５が動くこと等により、撮像デバイス２５上における入射画像が移動した後に、第２の画像を撮像する。撮像デバイス２５は、入射画像が移動すると第２の画像を撮像することを繰り返す。

移動量検出部２７は、第２の画像のそれぞれと、基準となる第１の画像との間の誤差（差分自乗値等）が最小になるように、これらの画像を移動させることによって、基準となる第１の画像に対する各第２の画像の変位を検出する。移動量検出部２７は、検出された各第２の画像の変位を、画素単位の変位と、残りの１画素未満の変位とに分け、画素単位の変位を補正部２６に、１画素未満の変位を画像合成部２８に出力する。

補正部２６は、検出された第２の画像の変位を打ち消すように、各第２の画像を、その画像の画素単位の変位の向きとは反対の向きに、画素単位の変位だけ移動させ、得られた画像を画像合成部２８に出力する。画像合成部２８は、第１の画像、複数の移動後の第２の画像、及び１画素未満の変位に基づいて、式（４）を用いて、画素値を推定して、第１の画像及び移動後の第２の画像よりも画素数が多い第３の画像の画素を推定し、得られた高解像度画像である第３の画像を静止画像記録伝送部２に出力する。画像合成部２８は、式（５）を用いて、最小二乗法による画像の推定を行ってもよい。

画像合成部２８は、作成された画像の誤差が予め与えられた閾値より小さい領域については、以上のような高解像度の画像を推定し、誤差が閾値以上の領域については、撮像した画像のうちの１つを選択して、各領域の画像を合成するようにしてもよい。

また、時間的な変化があり、誤差が閾値以上の領域については、その領域の誤差が閾値以下となる画像を複数の画像から選択し、選択された画像を用いて高解像度の画像を推定するようにしてもよい。

また、誤差が閾値以上の領域には、画像合成部２８は、ブルーバックカラー又はクロマキーカラーと呼ばれる静止画像中に含まれない特定の画素値を用いるようにしてもよい。この場合、高解像度の静止画とは別に、ＭＰＥＧ（moving picture experts group）方式等でエンコードした動画像を記録又は伝送し、表示の際に、ブルーバックカラー又はクロマキーカラーの領域には、動画像をデコードして表示する。

記録又は伝送された高解像度の画像よりも画素数の少ない表示デバイスを用いた高解像度表示について説明する。図１において、画像表示装置３０は、手振れセンサ３１と、手振れ補正部３２と、画像メモリ３４と、画像縮小補間部３５と、読出し位置制御部３６と、表示デバイス３７とを備えている。ここでは、画像表示装置３０を手で持つ等、固定せずに用いるものとする。

手振れセンサ３１は、手振れによって表示デバイス３７に与えられた加速度、角加速度等を検出し、手振れによって生じた表示デバイス３７の変位を求め、手振れ補正部３２に出力する。手振れ補正部３２は、表示デバイス３７の変位を、表示デバイス３７の画素単位の変位と、残りの１画素未満の変位とに分け、画素単位の変位を読出し位置制御部３６に、１画素未満の変位を画像縮小補間部３５に出力する。画像メモリ３４は、伝送等された画像のデータを格納し、画像縮小補間部３５に出力する。

画像縮小補間部３５は、表示デバイス３７に表示できるように、画像メモリ３４から読出された画像を縮小するとともに、縮小された画像が、表示デバイス３７の１画素未満の変位とは逆向きに、かつ等しい大きさの移動をするように、線形補間により各画素の値を求める。読出し位置制御部３６は、画像縮小補間部３５で得られた画像が、画素単位の変位とは逆向きに、かつ等しい大きさの移動をするように、画像縮小補間部３５から画像データの読出しを行い、表示デバイス３７に出力する。

この結果、表示デバイス３７の画像は、サブピクセル位置で補間した高解像度の画像として認識される。例えば、文字や図形を含み、インターネット経由で伝送されたホームページの画像であっても、高解像度のホームページ画像を画像メモリ３４に格納することによって、同様に補間された画像を表示することができる。

また、画像縮小補間部３５及び読出し位置制御部３６は、それぞれ、１画素未満の変位及び画素単位の変位に所定の値を乗じて得られた変位だけ、画像を移動するようにしてもよい。

ここでは、表示デバイスを直接目視する場合について説明したが、光学系を通して表示デバイスを観る場合や、表示画像を投射する場合でも、類似した方法で表示を行うことができる。一例として、図１の液晶プロジェクタ４０を画像表示装置として用いる場合について説明する。図１の液晶プロジェクタ４０は、擬似手振れ発生部４２と、画像メモリ４４と、画像縮小補間部４５と、表示デバイス４７と、光学補正部４８とを備えている。出力画像ＯＰは、スクリーン等に投射される。

擬似手振れ発生部４２は、スクリーン等における画像が投射され得る領域が、サブピクセル単位で移動するように指示する信号を生成し、画像縮小補間部４５及び光学補正部４８に出力する。擬似手振れ発生部４２は、例えば図２（ａ），（ｂ）のようなパターンで、画像が投射され得る領域をサブピクセル単位で移動させる。

画像縮小補間部４５は、画像が投射され得る領域が移動する毎に、その変位とは逆向きに、かつその変位に等しい大きさの移動をさせた画像の各画素の値を、画像縮小補間部３５と同様に求める。表示デバイス４７は、求められた各画素の表示を行い、表示された画像を、光学補正部４８を介して投射する。光学補正部４８は、擬似手振れ発生部４２からの信号に従って出射画像ＯＰの出射方向を制御する。

このように、液晶プロジェクタ４０によると、投射される画素の位置がサブピクセル単位で移動するので、投射型の画像表示装置による高解像度の画像表示を行うことができる。

液晶プロジェクタ４０において、擬似手振れ発生部４２に代えて、手振れセンサと、手振れ補正部とを備えた液晶プロジェクタ（図示せず）について説明する。この液晶プロジェクタは、手で保持される等、固定せずに用いられるものとする。手振れセンサは、手振れによって生じた液晶プロジェクタの動きを検出し、画像が投射され得る領域の変位を求め、手振れ補正部に出力する。手振れ補正部は、画像が投射され得る領域の変位を、画像の画素単位の変位と、残りの１画素未満の変位とに分け、画素単位の変位を光学補正部に、１画素未満の変位を画像縮小補間部に出力する。

画像縮小補間部は、画像が投射され得る領域が移動する毎に、その１画素未満の変位とは逆向きに、かつその変位に等しい大きさの移動をさせた画像の各画素の値を、画像縮小補間部３５と同様に求め、表示デバイスに出力する。表示デバイスは、求められた画像の表示を行う。光学補正部は、画素単位の変位とは逆向きに、かつその変位に等しい大きさの移動をするように、出射画像ＯＰの出射方向を制御する。

この液晶プロジェクタによると、画像表示装置３０と同様に、表示デバイスの解像度以上の高解像度の画像として認識されるように、画像を表示することができる。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る画像撮影表示システムのブロック図である。図４の画像撮影表示システムは、撮像装置２１０と、画像表示装置２３０，２４０，２５０と、動画記録伝送部４とを備えている。撮像装置２１０、及び画像表示装置２３０，２４０，２５０は、それぞれ単独で動作することも可能である。

撮像装置２１０は、手振れセンサ２１１と、擬似手振れ信号加算部２１２と、光学補正部２１４と、撮像デバイス２１５と、画像縮小部２１８とを備えている。手振れセンサ２１１、擬似手振れ信号加算部２１２、及び光学補正部２１４は、図１の手振れセンサ１１、擬似手振れ信号加算部１２、及び光学補正部１４とそれぞれ同様のものである。また、擬似手振れ信号加算部２１２は、所定のパターンに従った変位を、動画記録伝送部４に出力する。

撮像デバイス２１５は、動画を撮像し、画像縮小部２１８に出力する。画像縮小部２１８は、入力された画像を必要に応じて縮小して、動画記録伝送部４に出力する。例えば、画像縮小部２１８は、撮像デバイス２１５の画素数よりも表示デバイス２３７の画素数が少ない場合等には、入力された画像を縮小する。動画記録伝送部４は、画像縮小部２１８の出力及び所定のパターンに従った変位を、画像表示装置２３０，２４０，２５０に伝送する。また、動画記録伝送部４は、画像縮小部２１８や手振れ信号加算部２１２の出力をメモリカード等に書き込み、更にメモリカード等からデータを読出して画像表示装置２３０，２４０，２５０に出力するものであってもよい。

画像表示装置２３０は、画像メモリ２３４と、低解像度表示デバイス２３７とを備えている。画像メモリ２３４は、動画記録伝送部４によって伝送又は読出しされた画像データを格納し、低解像度表示デバイス２３７に出力する。低解像度表示デバイス２３７は、例えば撮像デバイス２１５と同じ数の画素を有し、画像メモリ２３４から出力された画像を表示する。

撮像デバイス２１５がその画素サイズ未満の移動をすることによって得られた一連の画像を、低解像度表示デバイス２３７が表示すると、これ観た人は、撮像デバイス２１５の画素間の位置における画素値を推定して、撮像デバイス２１５の解像度以上の高解像度の画像として認識する。この結果、撮像デバイス２１５及び表示デバイス２３７の解像度を超えた解像度で認識されるような、自然な手振れ付きの動画像を記録又は伝送することができる。

一連の静止画像を、所定のパターンに従った変位を与えながら撮影し、動画として記録又は伝送してもよい。この場合にも、動画像の場合と同様に高解像度の画像として認識される効果が得られる。このような場合に用いられる画像表示装置２４０について説明する。画像表示装置２４０は、手振れセンサ２４１と、画像格納部２４３と、画像メモリ２４４と、表示画像選択部２４６と、表示デバイス２４７とを備えている。画像表示装置２４０は、持ち運び可能なものであるとする。

撮像装置２１０において、擬似手振れ信号加算部２１２は、所定のパターンに従った変位を与える信号を生成し、撮像デバイス２１５は、この信号に対応する一連の静止画像を動画として撮像する。撮像装置２１０は、変位を与える信号と、撮像した一連の静止画像とを、動画記録伝送部４に記録又は伝送させる。画像格納部２４３は、読出し又は伝送された変位を与える信号及び一連の静止画像のデータを格納し、その一部を画像メモリ２４４に格納させる。静止画像と、その撮影の際に用いられた変位を与える信号とは、対応付けられて格納される。

手振れセンサ２４１は、表示デバイス２４７の移動による変位を検出し、表示画像選択部２４６に出力する。表示画像選択部２４６は、表示デバイス２４７の移動前に表示されていた画像に、表示デバイス２４７の変位とは逆向き、かつ等しい大きさの移動をさせた画像に相当する画像を、読出し又は伝送された変位を与える信号に基づいて画像メモリ２４４の複数の画像から選択し、表示デバイス２４７に出力する。表示デバイス２４７は、選択された画像を表示する。

このように、画像表示装置２４０によると、図１の画像表示装置３０と同様に、画像が、表示デバイスよりも画素数が多い高解像度の画像として認識される。この際、画像表示装置２４０においては、画像を補間する必要がない。

また、撮像デバイス２１５の画素数よりも表示デバイス２３７，２４７の画素数の方が少ない場合には、最も画素数が少ない表示デバイスに適合するように、画像縮小部２１８が画像を縮小した後に、記録又は伝送する。この際、画像縮小部２１８は、各画像に対応する変位の大きさも縮小する。表示画像選択部２４６は、縮小後の複数の画像から選択を行う。この場合は、動画記録伝送部４として、記録容量や伝送速度がより低容量のものが利用可能となる。また、動画記録伝送部４の記録容量や伝送速度に制限がある場合は、これらに合わせて、画像縮小部２１８が画像を縮小するようにしてもよい。

画像表示装置２５０について説明する。画像表示装置２５０は、画像合成部２５３と、画像メモリ２５４と、高精細表示デバイス２５７とを備えている。撮像装置２１０で撮像され、記録又は伝送される画像の解像度は、高精細表示デバイス２５７の解像度よりも低いとする。また、高精細表示デバイス２５７は、移動できないものであるとする。この場合、記録又は伝送される画像を合成して、高解像度の画像を得る必要がある。

図４において、画像合成部２５３は、動画記録伝送部４によって伝送又は読出しされた所定のパターンに従った変位を与える信号を用いて、伝送又は読出しされた画像データを、より高解像度の動画像に合成し、画像メモリ２５４に出力する。この際、画像合成部２５３は、図１の画像合成部１８と同様にして、画素値の推定をして、高解像度の画像の推定を行う。伝送又は読出しされた画像データは、画像縮小部２１８で縮小された画像のデータであってもよいし、縮小されていない画像のデータであってもよい。

読出し位置制御部２５６は、画像メモリ２５４から読出しを行って、高精細表示デバイス２５７に出力する。画像に１画素以上の画素単位の変位がある場合には、読出し位置制御部２５６は、画像メモリ２５４からの読出しアドレスを変更して、与えられた所定のパターンに従った変位を打ち消すように画素単位での補正を行う。高精細表示デバイス２５７は、画像メモリ２５４から出力された画像を表示する。

このように、画像表示装置２５０によると、受け取った画像よりも解像度が高い画像を表示することができる。

なお、画像合成部２５３は、画像のうち、変化の小さい領域を静止画部分と判断して、各画像におけるこの領域のサブピクセル単位の移動を、その画像の変位として検出し、高解像度画像の画素値を推測して、高解像度画像を合成するようにしてもよい。

以上のように、図４の画像撮影表示システムによると、利用可能ないくつかの種類の画像表示装置のうちで、最も画素数が少ないものに合わせて、撮像装置が画像を縮小し、得られた画像データを受信する画像表示装置が、それぞれの表示可能な解像度に合わせて、画像データよりも高解像度の画像を推定して表示することができる。また、画像データの記録容量や、伝送速度に制限がある場合にも、これらに合わせて、画像サイズを縮小して、記録又は伝送し、画像データを受け取る画像表示装置において、高解像度画像を合成して表示することができる。

なお、所定のパターンに従った変位を与える信号は、ＭＰＥＧ規格のＰＡＮ信号、又はＳＣＡＮ信号として、ＭＰＥＧストリームに多重して記録又は伝送することができる。

以上の実施形態においては画素の１次元の推定について説明したが、２次元の推定を行うようにすることも容易にできる。

以上説明したように、本発明は、撮像又は表示される画像の画質を改善することができるので、画像を撮像又は表示する装置等について有用である。

本発明の第１の実施形態に係る画像撮影表示システムのブロック図である。（ａ），（ｂ）は、それぞれ、所定のパターンに従った変位の時間的変化の例を示す説明図である。撮像デバイス上の画素をサブピクセル単位で移動させた場合における、入射画像を構成する入射光と撮像デバイス出力との関係を示す概念図である。本発明の第２の実施形態に係る画像撮影表示システムのブロック図である。

符号の説明

２静止画像記録伝送部
４動画記録伝送部
１０，２０，２１０撮像装置
１５，２５，２１５撮像デバイス
３０，２３０，２４０，２５０画像表示装置
３７，４７，２３７，２４７，２５７表示デバイス
４０液晶プロジェクタ

Claims

表示デバイスの変位を検出するステップと、
前記表示デバイス上の画像を、前記表示デバイスの変位とは逆向きに、かつ、前記表示デバイスの変位に応じた大きさだけ、サブピクセル単位で移動させて表示するステップとを備える
画像表示方法。
請求項１に記載の画像表示方法において、
前記画像を表示するステップは、
前記表示デバイスの変位を、画素単位の変位と、残りの１画素未満の変位とに分けるステップと、
前記表示デバイス上の画像に前記１画素未満の変位に応じた大きさの移動をさせた画像を、補間により求めるステップと、
前記補間により求められた画像に、前記画素単位の変位に応じた大きさの移動をさせるステップとを備えるものである
ことを特徴とする画像表示方法。
投射型の画像表示装置による画像表示方法であって、
画像が投射され得る領域を所定のパターンに従ってサブピクセル単位で移動させるステップと、
前記領域が移動する毎に、前記領域の変位とは逆向きに、前記変位に応じた大きさの移動をさせた画像を、補間により求めるステップと、
前記求められた画像を投射するステップとを備える
画像表示方法。
投射型の画像表示装置による画像表示方法であって、
前記画像表示装置の動きに基づいて、画像が投射され得る領域の変位を検出するステップと、
前記領域に投射される画像を、前記領域の変位とは逆向きに、かつ、前記領域の変位に応じた大きさだけ、サブピクセル単位で移動させて表示するステップとを備える
画像表示方法。
撮像デバイス上における入射画像を、所定のパターンに従ってサブピクセル単位で移動させながら複数の画像を撮像するステップと、
表示デバイスの変位を検出するステップと、
前記表示デバイス上の画像を、前記表示デバイスの変位とは逆向きに、かつ、前記表示デバイスの変位に応じた大きさだけ移動させた画像を、前記複数の画像から選択して表示するステップとを備える
画像表示方法。
請求項５に記載の画像表示方法において、
前記複数の画像とそれぞれの画像の変位とを縮小するステップを更に備え、
前記画像を選択して表示するステップは、
前記縮小後の各画像の変位に基づいて、前記縮小後の複数の画像から画像を選択するものである
ことを特徴とする画像表示方法。
撮像デバイス上における入射画像を、所定のパターンに従ってサブピクセル単位で移動させながら複数の画像を撮像するステップと、
前記複数の画像、及びそれぞれの画像の変位に基づいて、画素値を推定して、前記複数の画像のそれぞれよりも画素数が多い画像を推定し、表示するステップとを備える
画像表示方法。
請求項７に記載の画像表示方法において、
前記複数の画像と、それぞれの画像の変位とを縮小するステップを更に備え、
前記画像を推定して表示するステップは、
前記縮小後の複数の画像、及び前記縮小後の各画像の変位に基づいて、前記縮小後の複数の画像のそれぞれよりも画素数が多い画像を推定し、表示するものである
ことを特徴とする画像表示方法。
請求項７に記載の画像表示方法において、
前記所定のパターンの情報を伝送するステップを更に備え、
前記画像を推定して表示するステップは、
伝送された前記所定のパターンの情報を前記複数の画像の変位として用いるものである
ことを特徴とする画像表示方法。
請求項７に記載の画像表示方法において、
前記画像を合成して表示するステップは、
前記複数の画像自身に基づいて、前記複数の画像のそれぞれの変位を求めるものである
ことを特徴とする画像表示方法。
撮像デバイスによって第１の画像を撮像するステップと、
前記撮像デバイス上における入射画像を、所定のパターンに従ってサブピクセル単位で移動させるステップと、
前記移動後の入射画像を第２の画像として撮像するステップと、
前記第１及び第２の画像、並びに前記第１の画像に対する前記第２の画像の変位に基づいて、画素値を推定して、前記第１及び第２の画像よりも画素数が多い第３の画像を推定するステップとを備える
画像撮像方法。
請求項１１に記載の画像撮像方法において、
前記入射画像を移動させるステップと、前記移動後の入射画像を第２の画像として撮像するステップとを繰り返し、
前記第３の画像を推定するステップは、
前記第１の画像及び複数の前記第２の画像に基づいて推定を行うものである
ことを特徴とする画像撮像方法。
請求項１１に記載の画像撮像方法において、
前記第３の画像を推定するステップは、
最小二乗法を用いて画像の推定を行うものである
ことを特徴とする画像撮像方法。
撮像デバイスによって第１の画像を撮像するステップと、
前記撮像デバイス上における入射画像が移動した後に第２の画像を撮像するステップと、
前記第１の画像に対する前記第２の画像の変位を検出するステップと、
前記第２の画像の変位を、画素単位の変位と、残りの１画素未満の変位とに分けるステップと、
前記第２の画像を前記画素単位の変位とは逆向きに前記画素単位の変位だけ移動させるステップと、
前記第１の画像、前記移動後の第２の画像、及び前記１画素未満の変位に基づいて、画素値を推定して、前記第１の画像及び前記移動後の第２の画像よりも画素数が多い第３の画像を推定するステップとを備える
画像撮像方法。
請求項１４に記載の画像撮像方法において、
前記第２の画像を撮像するステップを繰り返し、
前記第３の画像を推定するステップは、
前記第１の画像及び複数の前記第２の画像に基づいて推定を行うものである
ことを特徴とする画像撮像方法。
請求項１４に記載の画像撮像方法において、
前記第３の画像を推定するステップは、
最小二乗法を用いて画像の推定を行うものである
ことを特徴とする画像撮像方法。
撮像デバイスの動きを検出するステップと、
前記撮像デバイスの動きに、所定のパターンの動きを加算するステップと、
前記加算後の動きによる影響を打ち消すように、前記撮像デバイスへの入射画像を変位させるステップと、
前記入射画像を撮像するステップとを備える
画像撮像方法。
請求項１７に記載の画像撮像方法において、
複数の所定のパターンの中から１つを選択するステップを更に備え、
前記所定のパターンの動きを加算するステップは、
前記選択されたパターンに従って、動きを加算するものである
ことを特徴とする画像撮像方法。
第１の画像に対する第２の画像の変位を、画素単位の変位と、残りの１画素未満の変位とに分けるステップと、
前記第２の画像を前記画素単位の変位とは逆向きに前記画素単位の変位だけ移動させるステップと、
前記第１の画像、前記移動後の第２の画像、及び前記１画素未満の変位に基づいて、画素値を推定して、前記第１の画像及び前記移動後の第２の画像よりも画素数が多い第３の画像を推定するステップとを備える
画像合成方法。
請求項１９に記載の画像合成方法において、
前記第１の画像に対する前記第２の画像の変位を検出するステップを更に備える
ことを特徴とする画像合成方法。
請求項１９に記載の画像合成方法において、
複数の画像を前記第２の画像として用い、
前記第３の画像を推定するステップは、
前記第１の画像及び複数の前記第２の画像に基づいて推定を行うものである
ことを特徴とする画像合成方法。
請求項１９に記載の画像合成方法において、
前記第３の画像を推定するステップは、
最小二乗法を用いて画像の推定を行うものである
ことを特徴とする画像合成方法。