JP2005354125A - 画像処理装置および画像表示装置 - Google Patents

Abstract

【課題】 ハードウェアリソースの少ない機器における、複数の画像データを用いた解像度の高い画像データの生成処理の負荷を軽減すること。
【解決手段】判定モジュールＭ３によって、表示倍率が１００％より大きいと判定された場合には、変化量算出モジュールＭ５は、表示画像データに対して時系列に連続する複数の画像データを参照画像データとして取得し、表示画像データに対する参照画像データの変化量を算出する。変換モジュールＭ６は、算出された変化量を用いて、画像表示領域について、変化量を低減または解消するように各参照画像データを変換する。高解像度画像データ生成モジュールＭ７は、変換された複数の参照画像データと表示画像データとを用いて、画像表示領域について、所定の解像度となるように補間処理を実行して、表示画像データよりも解像度の高い高解像度画像データを生成する。
【選択図】 図３

Description

本発明は、画像データの解像度を向上させる画像処理装置および画像表示装置に関する。

複数の画素データから構成される画像データを複数用いて、画像の解像度を向上させる技術が提案されている（例えば、特許文献１参照）。これら技術では、例えば、複数の画像データ間における移動量を画素単位にて検出し、検出した画素の移動量を用いて複数の画像データを重ね合わせて合成画像データを得る。合成画像データの解像度が所望の解像度に至っていない場合には、内挿点（画素データ）を補完することで所望の解像度の画像データが得られる。

特開２０００−２４４８５１号公報

しかしながら、画素の移動量を用いた複数の画像データの重ね合わせ、不足する解像度を補うための内挿点の補間処理は、高い演算処理能力を必要とする。したがって、一般的に、演算処理能力が高いとはいえない携帯電話、携帯表示端末といった情報端末においては、画像データの高解像度化処理は、時間を要する、あるいは、実行不可能な処理となる。

一方で、情報端末の普及に伴い、情報端末においても、より解像度の高い（きれいな）画像を閲覧したいという要求がある。

本発明は、上記課題を解決するためになされたものであり、ハードウェアリソースの少ない機器における、複数の画像データを用いた解像度の高い画像データの生成処理の負荷を軽減することを目的とする。

上記課題を解決するために本発明の第１の態様は、画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、表示画像を所定の表示倍率にて表示可能な出力機器の表示可能領域を示す表示可能領域情報を取得する表示可能領域情報取得手段と、前記出力機器において設定された、前記表示画像の変更後の表示倍率を示す変更情報を取得する変更情報取得手段と、前記取得された変更情報によって示される変更後の表示倍率が等倍よりも大きい場合には、前記取得された表示可能領域情報によって示される表示可能領域に対応すると共に前記出力機器によって表示される表示画像領域について、前記出力機器において表示されている画像のデータを含む表示画像データおよび前記表示画像データに対して時系列に連続する参照画像データを複数用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成する鮮明化処理を実行する鮮明化手段とを備えることを特徴とする。

本発明の第１の態様に係る画像処理装置によれば、取得された変更情報によって示される変更後の表示倍率が等倍よりも大きい場合には、取得された表示可能領域情報によって示される表示可能領域に対応すると共に出力機器によって表示される画像表示領域について、出力機器において表示されている画像のデータを含む表示画像データおよび表示画像データに対して時系列に連続する参照画像データを複数用いて、表示画像データよりも解像度の高い高解像度画像データを生成するので、ハードウェアリソースの少ない機器における、複数の画像データを用いた解像度の高い画像データの生成処理の負荷を軽減することができる。

本発明の第１の態様に係る画像処理装置において、
前記鮮明化手段は、前記表示画像データの一部または全部と、前記複数の参照画像データの一部または全部とを用いて、前記表示画像データに対する前記複数の参照画像データの変化量を求める変化量算出手段と、前記参照画像データの各々の全領域または前記画像表示領域に対応する領域について、前記求められた変化量を低減または解消するように、前記各参照画像データを変換する変換手段と、前記画像表示領域について、前記表示画像データと前記変換された各参照画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備えても良い。

本発明の第１の態様に係る画像処理装置によれば、画像表示領域について、表示画像データと変換された各参照画像データを合成して、高解像度画像データを生成するので、ハードウェアリソースの少ない機器における、複数の画像データを用いた解像度の高い画像データの生成処理の負荷を軽減することができる。また、参照画像データの各々における画像表示領域に対応する領域について、求められた変化量を低減または解消するように、各参照画像データを変換すれば、さらに高解像度画像データの生成処理にかかる処理負荷を軽減することができる。

本発明の第１の態様に係る画像処理装置において、前記表示倍率は、前記出力機器に入力された画像データの解像度に対する前記出力機器における表示に用いられる表示用画像データの解像度の比率であり、前記等倍は前記入力画像データの解像度に対する表示用画像データの解像度の比率が等しい表示倍率であっても良い。一般的に、画質が低下するのは、等倍を超える表示倍率であり、かかる条件下において、高解像度な画像データを生成することにより、表示画像の画質を向上させることができると共に高解像度画像データの生成に要する処理負荷を軽減することができる。

本発明の第１の態様に係る画像処理装置はさらに、前記取得された表示倍率情報によって示される表示倍率が等倍以下の場合には、前記表示画像データを前記変更後の表示倍率へ変換する表示倍率変換手段を備えても良い。かかる場合には、表示倍率の変換によって、所望の画質の表示画像を得ることができる。

本発明の第１の態様に係る画像処理装置はさらに、前記出力機器において表示画像の中心位置が変更された場合には、中心位置の変更により前記出力機器に表示される前記表示画像データの領域である変更後画像表示領域のうち、前記高解像度画像データの領域に含まれない差分領域を求める差分領域算出手段と、前記差分領域に含まれる、前記表示画像データと、前記複数の参照画像データとを用いて、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成する差分鮮明化手段と、前記差分領域が前記画像表示領域未満の場合に、前記変更後領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成する変更後画像データ生成手段とを備えても良い。かかる場合には、高解像度画像として表示されるべき領域が変更された場合であっても、生成に要する処理負荷を軽減しつつ、変更後に表示されるべき領域について、高解像度の画像データを生成することができる。

本発明の第２の態様は、画像表示装置を提供する。本発明の第２の態様に係る画像表示装置は、複数の画素データから形成されている画像データを複数のドット表示によって表示する表示手段と、前記表示手段が表示可能な表示解像度を取得する表示可能解像度取得手段と、前記表示手段に表示されている表示画像の解像度を変更するための解像度変更手段と、前記変更された解像度が、前記表示画像に用いられる画像データを形成する１以上の画素データと前記表示手段の１ドット表示とが対応する解像度であるか否かを判定する判定手段と、前記表示画像に用いられる画像データを形成する１以上の画素データが表示器の１ドット表示に対応しないと判定された場合には、前記表示手段の表示可能解像度に対応すると共に前記表示手段に表示される画像表示領域に含まれる、前記表示画像のデータを含む表示画像データを形成する画素データと、前記表示画像データに対して時系列に連続する複数の参照画像データをそれぞれ形成する画素データとを用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成する鮮明化処理手段とを備えることを特徴とする。

本発明の第２の態様に係る画像表示装置によれば、表示画像に用いられる画像データを形成する１以上の画素データが表示器の１ドット表示に対応しないと判定された場合には、画像表示領域に含まれる、表示画像のデータを含む表示画像データを形成する画素データと、表示画像データに対して時系列に連続する複数の参照画像データをそれぞれ形成する画素データとを用いて、表示画像データよりも解像度の高い高解像度画像データを生成するので、ハードウェアリソースの少ない機器における、複数の画像データを用いた解像度の高い画像データの生成処理の負荷を軽減することができる。

本発明の第２の態様に係る画像表示装置はさらに、前記表示手段に表示されている表示画像の中心位置を変更するための中心位置変更手段と、前記中心位置変更手段によって、前記表示手段に表示されている表示画像の中心位置が変更された場合には、中心位置の変更により前記表示手段に表示される画像データの領域である変更後領域のうち、前記高解像度画像データの領域に含まれない差分領域を求める差分領域算出手段と、前記差分領域に含まれる、前記表示画像データ画素データと、前記複数の参照画像データとを用いて、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成する差分鮮明化手段と、前記差分領域が前記画像表示領域未満の場合に、前記変更後領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成する変更後画像データ生成手段とを備えても良い。かかる場合には、高解像度画像として表示されるべき領域が変更された場合であっても、生成に要する処理負荷を軽減しつつ、変更後に表示されるべき領域について、高解像度の画像データを生成することができる。

本発明の第２の態様に係る画像表示装置において、前記表示画像データと前記変換された複数の参照画像データとの合成は、前記表示画像データを形成する画素データと、前記変換された複数の参照画像データを形成する画素データとを用いた補間処理によって、予め定められた画素位置に新たな画素データを生成することによって実行されても良い。かかる場合には、複数の画像データに基づいて、精度の良い新たな画素データを増やすことができると共に、画像データの増加によって解像度を増大させることができる。

本発明の第２の態様に係る画像表示装置において、
前記鮮明化手段は、前記表示画像データを形成する画素データの一部または全部と、前記複数の参照画像データを形成する画素データの一部または全部とを用いて、前記表示画像データを形成する画素データに対する前記複数の画像データを形成する画素データの変化量を求める変化量算出手段と、前記参照画像データの各々の全領域または前記画像表示に対応する領域について、前記求められた変化量を低減または解消するように、前記各参照画像データを変換する変換手段と、前記画像表示領域について、前記表示画像データと前記変換された複数の参照画像データとを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備えることを特徴とする。

本発明の第２の態様に係る画像表示装置によれば、画像表示領域について、表示画像データと変換された各参照画像データを合成して、高解像度画像データを生成するので、ハードウェアリソースの少ない機器における、複数の画像データを用いた解像度の高い画像データの生成処理の負荷を軽減することができる。また、参照画像データの各々における画像表示領域に対応する領域について、求められた変化量を低減または解消するように、各参照画像データを変換すれば、さらに高解像度画像データの生成処理にかかる処理負荷を軽減することができる。

本発明の第２の態様に係る画像表示装置において、前記表示画像データと前記変換された複数の画像データとの合成は、前記表示画像データを形成する画素データと、前記変換された複数の参照画像データをそれぞれ形成する画素データとを用いた補間処理によって、予め定められた画素位置に新たな画素データを生成することによって実行されても良い。かかる場合には、複数の画像データに基づいて、精度の良い新たな画素データを増やすことができると共に、画像データの増加によって解像度を増大させることができる。

本発明の第２の態様に係る画像表示装置はさらに、前記表示手段に表示されている表示画像の中心位置を変更するための中心位置変更手段と、前記中心位置変更手段によって、前記表示手段に表示されている表示画像の中心位置が変更された場合には、中心位置の変更により前記表示手段に表示される画像データの領域である変更後画像表示領域のうち、前記高解像度画像データの領域に含まれない差分領域を求める差分領域算出手段と、前記変化量算出手段によって算出された変化量を低減または解消するように、前記差分領域に含まれる、前記複数の参照画像データを変換する差分変換手段と、前記差分領域に含まれる、前記表示画像データと前記変換された複数の参照画像データとを合成して、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成する差分鮮明化手段と、前記差分領域が前記画像表示領域未満の場合に、前記変更後画像表示領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成する変更後画像データ生成手段とを備えても良い。かかる場合には、高解像度画像として表示されるべき領域が変更された場合であっても、生成に要する処理負荷を軽減しつつ、変更後に表示されるべき領域について、高解像度の画像データを生成することができる。

本発明の第２の態様に係る画像表示装置はさらに、前記表示画像に用いられる画像データを形成する１以上の画素データが表示器の１ドット表示に対応すると判定された場合には、前記表示画像データの解像度を前記変更された解像度へ変換する解像度変換手段を備えても良い。かかる場合には、表示倍率の変換によって、所望の画質の表示画像を得ることができる。

本発明の第３の態様は、画像処理方法を提供する。本発明の第３の態様に係る画像処理方法は、表示画像を所定の表示倍率にて表示可能な出力機器の表示可能領域を示す表示可能領域情報を取得し、前記出力機器において設定された、前記表示画像の変更後の表示倍率を示す変更情報を取得し、前記取得された変更情報によって示される変更後の表示倍率が等倍よりも大きいか否かを判定し、前記取得された変更情報によって示される変更後の表示倍率が等倍よりも大きい場合には、前記取得した表示可能領域情報によって示される表示可能領域に対応すると共に前記出力機器によって表示される画像表示領域について、前記出力機器において表示されている画像のデータを含む表示画像データおよび前記表示画像データに対して時系列に連続する参照画像データを複数用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成することを特徴とする。

本発明の第３の態様に係る画像処理方法によれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第３の態様に係る画像処理方法は、本発明の第１の態様に係る画像処理装置と同様に種々の態様にて実現され得る。

本発明の第４の態様は、画像表示方法を提供する。本発明の第４の態様に係る画像表示方法は、複数の画素データから形成されている画像データを複数のドット表示によって表示する表示手段が表示可能な表示解像度を取得し、前記表示手段に表示されている表示画像の解像度が変更された場合には、前記変更された解像度が、前記表示画像に用いられる画像データを形成する１以上の画素データと前記表示手段の１ドット表示とが対応する解像度であるか否かを判定し、前記表示画像に用いられる画像データを形成する１以上の画素データは表示器の１ドット表示に対応しないと判定した場合には、前記表示可能解像度に対応すると共に前記表示手段に表示される画像表示領域に含まれる、前記表示画像のデータを含む表示画像データを形成する画素データと、前記表示画像データに対して時系列に連続する複数の参照画像データをそれぞれ形成する画素データとを用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成し、前記生成された高解像度画像データを用いて前記表示手段に画像を表示することを特徴とする。

本発明の第４の態様に係る画像表示方法によれば、本発明の第２の態様に係る画像表示装置と同様の作用効果を得ることができる。また、本発明の第４の態様に係る画像表示方法は、本発明の第２の態様に係る画像表示装置と同様に種々の態様にて実現され得る。

本発明の第３の態様に係る画像処理方法および第４の態様に係る画像表示方法は、この他にも、プログラム、およびプログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。

以下、本発明に係る画像処理装置、画像表示装置について図面を参照しつつ、実施例に基づいて説明する。

図１〜図３を参照して本実施例に係る画像処理装置としての機能を含む画像表示装置について説明する。図１は本実施例に係る画像表示装置を含む画像処理システムの概略構成を示す説明図である。図２は本実施例に係る画像表示装置である、携帯電話の概略構成を示す説明図である。図３は携帯電話におけるキー入力部の一例を示す説明図である。

本実施例に係る画像表示装置は、例えば、携帯電話１０、携帯情報端末（ＰＤＡ）２０、画像表示フレーム３０として実現され得る。各画像表示装置１０、２０、３０は、画像データをドットマトリクスによって画像表示可能な表示器１１、２１、３１をそれぞれ備えている。また、各画像表示装置１０、２０、３０は、表示器１１、２１、３１に表示されている画像の表示倍率を変更するための入力ボタン、スクロールするためのスクロールボタンをそれぞれ備えている。以下の実施例では、本実施例に係る画像表示装置として携帯電話１０を例にとって説明する。

各画像表示装置１０、２０、３０に提供される画像データＭＰは、ディジタルスチルカメラ４０、ディジタルビデオカメラ４５によって生成される。あるいは、携帯電話１０およびＰＤＡ２０にカメラが備えられている場合には、画像表示装置１０、２０自身によって、表示器１１、２１に表示すべき画像データが生成される。ディジタルスチルカメラ４０またはディジタルビデオカメラ４５によって生成された画像データＭＰは、ケーブルを介して、あるいは、メモリカード（記録媒体）を介して各画像表示装置１０、２０、３０に伝送される。

画像データは、各構成画素に対してＲ、Ｇ、Ｂの各フィルタが所定の規則に従って配置された光電変換素子、例えば、ＣＣＤを備え、被写体に対応した複数の画素データから形成されるディジタル画像データを生成する。より具体的には、例えば、Ｒフィルタを有する画素においては、Ｒ成分の画素データを直接取得する他、周囲の画素データを基にしてＧ成分、Ｂ成分の画素データを補間演算によって生成する。生成された画像データは、記憶装置としてのメモリカードＭＣに保存される。

本実施例において、各画像表示装置１０、２０、３０に提供される画像データは、例えば、各成分が８ビットの階調を有する、ＲＧＢ成分によって定義されるＲＧＢデータ、ＹＣｂＣｒ成分によって定義されるＹＣｂＣｒデータ、ＣＭＹ成分によって定義されるＣＭＹデータである。また、各画像表示装置１０、２０、３０に提供される画像データは、時系列に連続する複数の画像データ（各画像データはフレームとも呼ばれる）から構成される動画像データ、あるいは、時系列に連続する複数の静止画像データから形成される静止画像データ群である。動画像データのフォーマットとしては、例えば、ＤＶフォーマットが望ましく、静止画像データのフォーマットとしては非可逆圧縮保存方式としてＪＰＥＧフォーマット、可逆圧縮保存方式としてＴＩＦＦフォーマットが一般的である。静止画像データのフォーマットとしては、この他にも、例えば、ＲＡＷフォーマット、ＧＩＦフォーマット、ＢＭＰフォーマットが用いられ得る。

携帯電話１０の概略構成について図２を参照して説明する。携帯電話１０は、表示器１１、カメラ１２、アンテナ１３、スピーカ１４、マイク１５、キー入力部１６、メモリスロット１７、および制御回路１８を備えている。

表示器１１は、例えば、ドットマトリクスによって画像を表示する液晶パネルである。カメラ１２は、例えば、光学情報をＣＣＤによって電気信号に変換し、複数の画素データから構成される静止画像データまたは動画像データを生成する。アンテナ１３は、通話・通信情報を送受信し、スピーカ１４は受信された通話情報を音声として出力し、マイク１５は音声を電気信号に変換する。

キー入力部１６は、図３に示すように、カメラ１２を用いた静止画、動画の撮像指示、撮像された画像の表示倍率を変更する表示倍率変更ボタン１６１（拡大）、１６２（縮小）、表示画像の中心位置を変更（スクロール）するためのスクロールボタン１６３、数字・文字を入力するための文字入力ボタンを供えている。

メモリスロット１７は、外部記憶装置として用いられるメモリカードＭＣを装着するための挿入部であり、接続端子を備えている。

制御回路１８は、中央処理装置（ＣＰＵ）１８０、メモリ１８１、表示制御部１８２、画像処理部１８３、通信制御部１８４、音声処理部１８５、キー入力制御部１８６、メモリ制御部１８７、各構成要素を双方通信可能に接続する接続バス１８８を備えている。

ＣＰＵ１８０は、後述する鮮明化処理を含む表示制御プログラムの実行を始めとする各種演算処理を実行する。メモリ１８１は、ランダムアクセスメモリ、リードオンリメモリ、ハードディスクドライブ、光学式ディスクとして実現される。メモリ１８１には、図４を用いて後述するように、表示制御プログラムを実現するための、表示倍率を変更するための各モジュール、表示画像の中心位置を変更するための各モジュール、高解像度画像データを生成（鮮明化処理）を実行するための各モジュールが格納されている。

図４を用いて、メモリ１８１に格納されている表示制御プログラムを構成する各モジュールの機能について説明する。図４は表示制御プログラムを実現する各機能モジュールを示す機能ブロック図である。

表示器に出力（表示）されるべき画像データが選択され、表示器に選択された画像データを用いた画像が表示された状態において、変更情報取得モジュールＭ１は、キー入力部１６を介して入力される解像度変更入力（表示倍率変更要求）を取得する。表示可能領域情報取得モジュールＭ２は、表示器が表示可能な領域を示す表示可能領域情報を取得する。判定モジュールＭ３は、要求された解像度（表示倍率）が、表示器に表示されている表示画像のデータである画像データを形成する１以上の画素データが表示器の１ドット表示に対応しない解像度であるか否か、換言すれば、入力された画像データ（元データ）の解像度に対する表示用画像データの解像度の比率である表示倍率が等倍よりも大きいか否かを判定する。

判定モジュールＭ３によって、等倍以下である、すなわち、表示倍率が１００％以下である、と判定された場合には、表示倍率変換モジュールＭ４は、表示画像データの解像度を要求された解像度へと変換して、表示器に表示されるべき新たな表示用画像データを生成する。

判定モジュールＭ３によって、等倍よりも大きい、すなわち、表示倍率が１００％より大きい、と判定された場合には、変化量算出モジュールＭ５は、表示画像データに対して時系列に連続する複数の画像データを参照画像データとして取得し、表示画像データに対する参照画像データの変化量を算出する。この変化量の算出は、各画像データの一部の領域（ブロック）に対して実行されてもよく、あるいは、各画像データの全領域に対して実行されてもよい。より具体的には、表示画像データと参照画像データとの間における特定画素の移動量（動きベクトル）を求めることによって実行される。

変換モジュールＭ６は、算出された変化量を用いて、表示器が表示可能な表示可能領域であると共に表示器に表示される画像表示領域について、あるいは、全領域について、変化量を低減または解消するように各参照画像データを変換する。高解像度画像データ生成モジュールＭ７は、変換された複数の参照画像データと表示画像データとを用いて、画像表示領域について、所定の解像度となるように補間処理を実行して、表示画像データよりも解像度の高い高解像度画像データを生成する。

表示倍率の変更処理が実行された後に、キー入力部を介して中心位置の変更要求、すなわち、スクロール要求が入力されると、差分領域算出モジュールＭ８は、表示画像データにおける表示されている領域と、スクロール後に表示される領域との差分、すなわち、スクロールにより新たに表示されるべき領域を算出する。

変換モジュールＭ６は、表示倍率の変更処理時に、画像表示領域について各参照画像データの変化を実行していた場合には、先に算出された変化量を用いて、差分領域について変化量を低減または解消するように各参照画像データを変換する。高解像度画像データ生成モジュールＭ７は、変換された複数の参照画像データと表示画像データとを用いて、差分領域について、所定の解像度となるように補間処理を実行して、表示画像データよりも解像度の高い高解像度画像データを生成する。変更後画像データ生成モジュールＭ９は、差分領域について生成された高解像度画像データと、先に生成された高解像度画像データのうち、スクロール後に表示される領域に重複する重複領域に該当する高解像度画像データとを結合して、表示用画像データとして出力する。

なお、変化量算出モジュールＭ５、変換モジュールＭ６および高解像度画像データ生成モジュールＭ７は包括的には鮮明化処理モジュールとして機能し、差分領域算出モジュールＭ８、変換モジュールＭ６、高解像度画像データ生成モジュールＭ７および変更後画像データ生成モジュールＭ９は包括的には差分鮮明化処理モジュールとして機能する。

表示制御部１８２は、表示制御プログラムにより生成された表示用画像データに応じて表示器１１を駆動して画像データに対応する表示画像を表示器１１上に表示させる。画像処理部１８３は、カメラ１２において生成された画像データに対して、ホワイトバランス、露出補正といった画質を整えるための処理を実行する。通信制御部１８４は、アンテナ１３を介した通信データの送受信処理を実行しする。音声処理部１８５は、音声として出力されるべき音声信号をスピーカ１４に対して伝送し、マイク１５において生成された音声信号を受け取る。

キー入力制御部１８６はキー入力部１６におけるキー操作を入力信号に変換してＣＰＵ１８０に伝送する。メモリ制御部１８７は、メモリスロット１７に装着されたメモリカードＭＣに対するデータの書き込み、メモリカードＭＣに書き込まれているデータの読み出しを実行する。以上の各制御部は、ソフトウェアプログラムとしてＣＰＵ１８０によって実行されることによって実現されても良く、あるいは、ＣＰＵ１８０とは別のハードウェア回路として実現されても良い。

図５〜図１４を参照して本実施例に係る画像表示装置において実行される表示制御処理のうち、表示倍率変更処理について説明する。図５は本実施例において実行される表示制御処理のうち、表示倍率が変更された場合に実行される表示倍率変更処理の処理ルーチンを示すフローチャートである。図６は本実施例における表示倍率の変更例を示す説明図である。図７は画像データと表示器の表示可能領域との関係を示す説明図である。図８は本実施例における鮮明化処理の詳細な処理ルーチンを示すフローチャートである。図９は本実施例の鮮明化処理において取得される時系列に連続する複数の画像データを模式的に示す説明図である。図１０は表示画像データの一例を示す説明図である。図１１は参照画像データの一例を示す説明図である。図１２は参照画像データの変換処理の様子を模式的に示す説明図である。図１３は表示器が表示可能な表示可能領域に対応する画像データを示す説明図である。図１４は本実施例における高解像度画像データの生成手法の一例を模式的に示す説明図である。

図５に示す処理フローは、キー入力部１６を介して、表示倍率の変更操作入力されると開始される。具体的には、動画像データ、または複数の時系列に連続する画像データからなる静止画像データ群が選択され、取得された後、表示器１１に動画像データまたは複数の時系列に連続する静止画像データ群から選択された１フレームまたは１画像データを用いた画像が表示される。表示器１１に選択された画像が表示されている状態において、拡大または縮小ボタンが操作されると本処理フローは開始される。表示用画像データの解像度が表示器１１の表示可能領域（表示解像度）よりも大きい場合には、予め設定されている表示倍率にて表示器１１上に画像が表示される。表示器１１上に表示される画像の中心位置は、表示用画像データの中心位置とされても良く、あるいは、ユーザによって任意に変更されても良い。

ＣＰＵ１８０は、設定された表示倍率を取得する（ステップＳ１００）。本実施例では、表示倍率は図６に示すように変化する。表示倍率は、表示用画像データの解像度に対する表示器１１の解像度の比率であり、本実施例においては、表示用画像データを構成する１画素データと表示器１１の１ドットとが対応する倍率が１００％（等倍）表示となる。本実施例において用いられる表示倍率は、表示画像データの全体を表示する全体表示、表示用画像データの解像度を縦方向および横方向に１／２倍、すなわち４つの画素データを表示器１１の１ドットで表す５０％表示、表示用画像データの解像度を縦方向および横方向に２倍した後の１画素データを表示器１１の１ドットで表す２００％表示、表示用画像データの解像度を縦方向および横方向に４倍した後の１画素データを表示器１１の１ドットで表す４００％表示である。また、表示倍率が増加する方向を拡大と呼び、減少する方向を縮小と呼ぶ。

ＣＰＵ１８０は、画像表示領域を算出する（ステップＳ１１０）。既述の通り、表示器１１の表示解像度は、必ずしも表示用画像データの解像度と一致せず、表示用画像データの一部の領域が表示器１１上に表示画像として表示される。したがって、表示用画像データのうち、表示器１１上の表示可能領域に対応すると共に、表示器１１に表示されるべき画像表示領域を算出する必要がある。換言すれば、画像表示領域は、表示器１１に表示される画像に対応すると共に、表示器１１が表示可能な領域（大きさ）を有する、表示用画像データ上における領域である。

図７を参照しつつ、画像表示領域算出処理について説明する。図７において、横軸をＸ軸、縦軸をＹ軸とし、実線は表示用画像データの領域を示し、破線は表示用画像データのうち、表示器１１が表示可能な表示可能領域を示す。表示用画像データの領域は、図中左上の原点（０，０）と、表示用画像データの大きさ（解像度）によって定まる右下の点（ＩＷ，ＩＨ）によって定義される。出力可能領域は、中心位置（Ｘｃ，Ｙｃ）、中心位置を用いて規定される左上位置の点（Ｘｓ，Ｙｓ）および右下位置の点（Ｘｅ，Ｙｅ）によって定義される。なお、表示器１１の表示可能領域は幅Ｗ×高さＨであるとする。

表示倍率が１００％の場合には、（Ｘｓ，Ｙｓ）＝（Ｘｃ−Ｗ／２，Ｙｃ−Ｈ／２）、（Ｘｅ，Ｙｅ）＝（Ｘｃ＋Ｗ／２，Ｙｃ＋Ｈ／２）；
表示倍率が５０％の場合には、（Ｘｓ，Ｙｓ）＝（Ｘｃ−Ｗ，Ｙｃ−Ｈ）、（Ｘｅ，Ｙｅ）＝（Ｘｃ＋Ｗ，Ｙｃ＋Ｈ）；
表示倍率が２００％の場合には、（Ｘｓ，Ｙｓ）＝（Ｘｃ−Ｗ／４，Ｙｃ−Ｈ／４）、（Ｘｅ，Ｙｅ）＝（Ｘｃ＋Ｗ／４，Ｙｃ＋Ｈ／４）；
表示倍率が４００％の場合には、（Ｘｓ，Ｙｓ）＝（Ｘｃ−Ｗ／８，Ｙｃ−Ｈ／８）、（Ｘｅ，Ｙｅ）＝（Ｘｃ＋Ｗ／８，Ｙｃ＋Ｈ／８）；
表示倍率が全体表示の場合には、（Ｘｓ，Ｙｓ）＝（０，０）、（Ｘｅ，Ｙｅ）＝（ＩＷ，ＩＨ）として、表示器１１の表示可能領域（Ｗ×Ｈ）に合わせて解像度変換処理が実行された点が左上位置の点（Ｘｓ，Ｙｓ）および右下位置の点（Ｘｅ，Ｙｅ）となる。

全体表示の種々の態様についてさらに詳細に説明する。以下において、表示画像データの領域は左上座標（０，０）、右下座標（ＩＷ，ＩＨ）、画像表示領域は左上座標（０，０）、右下座標（Ｗ，Ｈ）で表す。
（１）表示画像データの領域が画像表示領域よりも横に長い場合、
すなわち、ＩＷ／ＩＨ＞Ｗ／Ｈの場合には、縮小率はＷ／ＩＷとなり、表示画像データの領域は左上座標（０，０）、右下座標（Ｗ，ＩＨ×（Ｗ／ＩＷ））に変換される。
（２）表示画像データの領域が画像表示領域よりも縦に長い場合、
すなわち、ＩＷ／ＩＨ＜Ｗ／Ｈの場合には、縮小率はＨ／ＩＨとなり、表示画像データの領域は左上座標（０，０）、右下座標（ＩＷ×（Ｈ／ＩＨ），Ｈ）に変換される。
（３）表示画像データの領域と画像表示領域のアスペクト比が同一の場合、
すなわち、ＩＷ／ＩＨ＝Ｗ／Ｈの場合には、縮小率はＨ／ＩＨまたはＷ／ＩＷとなり、表示画像データの領域は左上座標（０，０）、右下座標（Ｗ，Ｈ）に変換される。

ＣＰＵ１８０は、設定された表示倍率が等倍よりも大きいか否か、すなわち、２００％または４００％であるか否かを判定する（ステップＳ１２０）。ＣＰＵ１８０は、設定された表示倍率が等倍よりも大きいと判定した場合には（ステップＳ１２０：Ｙｅｓ）、鮮明化処理（高解像度化処理）を実行する（ステップＳ１３０）。鮮明化処理の詳細については、後述する。ＣＰＵ１８０は、鮮明化処理を終えると、生成された高解像度画像データを用いて表示器１１上に画像を表示させる画像表示処理を実行し（ステップＳ１４０）本処理ルーチンを終了する。

ＣＰＵ１８０は、設定された表示倍率が等倍以下であると判定した場合には（ステップＳ１２０：Ｎｏ）、表示用画像データの解像度を設定された解像度へ変換する解像度変換処理を実行する（ステップＳ１５０）。具体的には、表示倍率が５０％の場合には、表示用画像データの隣接する４画素データ毎に１画素データを補間処理によって生成する画素間引き処理を実行し、生成した１画素データを表示器１１の１ドットとして表示させる。表示倍率が１００％の場合には、表示用画像データの１画素データを表示器１１の１ドットとして表示させる。表示倍率が全体表示の場合には、既述の要領にて画素間引きを伴う解像度変換を行い表示用画像データの数画素データから１画素データを生成し、生成された１画素データを表示器１１の１ドットとして表示させる。ＣＰＵ１８０は、解像度が変換された画像データを用いて既述の画像表示処理を実行して（ステップＳ１４０）、本処理ルーチンを終了する。

図８を参照して鮮明化処理について詳細に説明する。ＣＰＵ１８０は、先に取得した動画像データまたは静止画像データ群から、表示用画像データに時系列に連続する画像データである参照画像データをメモリカードＭＣから複数選択する（ステップＳ１３００）。あるいは、メモリカードＭＣから、表示画像データに連続する複数の参照画像データが取得されても良い。ＣＰＵ１８０は、例えば、表示倍率が２００％の場合には１つの表示用画像データと３つの参照画像データ、４００％の場合には１つの表示用画像データと７つの参照画像データを選択する。取得に際しては、例えば、図９に示すように、表示用画像データＤＤ（ＧＤｎ）の前の１つの参照画像データＲＤ（ＧＤn-1）および後ろの２つの参照画像データＲＤ（ＧＤn+1、ＧＤn+2）が取得される。

ＣＰＵ１８０は、取得した各参照画像データＲＤについて表示用画像データＤＤに対する変化量を検出する（ステップＳ１３１０）。検出した変化量はメモリ１８１に格納される。以下、説明を簡単にするため、図１０に示す表示用画像データＤＤと図１１に示す参照画像データＲＤ（ＧＤn+1）を例にとって説明するが、他の参照画像データ（ＧＤn-1、ＧＤn+2）についても同様にして各処理が実行されることは言うまでもない。例えば、図１０に示す表示用画像データＤＤと図１１に示す参照画像データＲＤ（ＧＤn+1）を例に取れば、表示用画像データＤＤにおける被写体ＴＤに対する参照画像データＲＤ（ＧＤn+1）における被写体ＴＤ’の移動の量（動きベクトル）が求められる。変化量は、水平成分ｕ、垂直成分ｖ、および画像データの中心を原点とする回転成分δによって表される。なお、図１０〜図１４では、イメージバッファ上に展開された画像データを概念的に図示している。

これら変化量の検出は、対象となる画像データを複数のブロックに分けて、一部のブロックについて着目画素データの移動先位置を求めることによって実行されても良く、あるいは、対象となる画像データを構成する全ての画素データについて移動先位置を求め、その平均値を取ることによって実行されても良い。

変化量の検出は、例えば、周知のパターンマッチング法を用いて、着目画素データの大まかな移動先を求め、周知の勾配法を用いて着目画素データの正確な移動先を求め、移動前の着目画素データの位置情報と移動後の着目画素データの位置情報とを用いて変化量（ｕ，ｖ，δ）を算出することによって実現される。

具体的な算出方法について以下に説明する。参照画像データにおける画素データの座標（x1，y1）が表示画像データにおける画素データの座標（x2，y2）に対応しているものとする。並進変化量は（ｕ，ｖ）、回転変化量は画像データの中心を原点としてδとしている。撮影時に焦点距離を変えないことを前提としているため、並進と回転のみの変換を前提として、座標変換の式として次式を使う。
x2 ＝ cosδ・x1 ＋ sinδ・y1 − ｕ ...(1)
y2 ＝ −sinδ・x1 ＋ cosδ・y1 − ｖ ...(2)
x1 ＝ cosδ・（x2＋ｕ） − sinδ・（y2 ＋ ｖ） ...(1a)
y1 ＝ sinδ・（x2＋ｕ） ＋ cosδ・（y2 ＋ ｖ） ...(2a)
なお、参照フレーム画像と対象フレーム画像との時間差はごく僅かであるため、ｕ，ｖ，δは微小量となる。ここで、δが微小量のとき、cosδ≒１、sinδ≒δであるから、上式を以下のように置き換えることができる。
x2 ＝ x1 ＋ δ・y1 − ｕ ...(3)
y2 ＝ −δ・x1 ＋ y1 − ｖ ...(4)
x1 ＝ （x2 ＋ｕ）−δ・（y2 ＋ ｖ） ...(3a)
y1 ＝ δ・（x2 ＋ ｕ）＋（y2 ＋ ｖ） ...(4a)
そして、式(3)，(4)（または、(3a)，(4a)）のｕ，ｖ，δを最小自乗法により推定する。

変化量の推定は、画像データ間の各画素データの例えば輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法（グラディエント法）に基づいている。ここで、参照画像データの各画素データの輝度をz1（ix，iy）、表示画像データの各画素データの輝度をz2（ix'，iy'）と表す。まず、表示画像データ上の座標（ix'，iy'）が参照画像データ上の座標（ix〜ix＋１，iy〜iy＋１）の間にあるものとして、勾配法により座標（ix'，iy'）を求める手法を説明する。

座標（ix'，iy'）のｘ軸方向の位置をix＋Δxとし、Px＝z1（ix＋１，iy）−z1（ix，iy）とすると、Px・Δx＝z2（ix'，iy'）−z1（ix，iy）となるようなΔxを求めればよい。実際には、各画素データについてΔxを算出し、全体で平均をとることになる。ここで、単にz1＝z1（ix，iy）、z2＝z2（ix'，iy'）で表すと、以下の式が成り立つようなΔxを算出すればよい。
｛Px・Δx − （z2−z1）｝² ＝ ０ ...(5)

また、座標（ix'，iy'）のｙ軸方向の位置をiy＋Δyとし、Py＝z1（ix，iy＋１）−z1（ix，iy）とすると、Py・Δy＝z2（ix'，iy'）−z1（ix，iy）となるようなΔyを求めればよい。ここでも、単にz1＝z1（ix，iy）、z2＝z2（ix'，iy'）で表すと、以下の式が成り立つようなΔyを算出すればよい。
｛Py・Δy − （z2−z1）｝² ＝ ０ ...(6)
そこで、ｘｙ両方向を考慮すると、以下の式のＳ2を最小にするΔx、Δyを最小自乗法により求めればよい。
Ｓ² ＝ Σ｛Px・Δx ＋ Py・Δy − （z2−z1）｝² ...(7)

以上、勾配法により画像データ（画素データ）がｘ軸方向とｙ軸方向に平行移動したとして並進変化量を求める手法を説明した。本発明では、さらに画像データ（画素データ）の回転も考慮している。以下、その手法を説明する。

参照画像データの座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の式により求められる。
ｒ ＝ （ｘ2 ＋ ｙ2）^1/2 ...(8)
θ ＝ tan^-1（ｘ／ｙ） ...(9)

ここで、並進変化量が補正されているとして、参照画像データと表示画像データの原点を合わせておき、表示画像データでは座標（ｘ，ｙ）からδ回転して座標（ｘ'，ｙ'）になったとすると、この回転によるｘ軸方向の移動量とｙ軸方向の移動量は、以下の式により求められる。
ｘ'−ｘ ≒ −ｒδsinθ ＝ −δ・ｙ ...(10)
ｙ'−ｙ ≒ ｒδcosθ ＝ δ・ｘ ...(11)

そこで、上記式(7)におけるΔx，Δyは、並進変化量ｕ，ｖ、回転変化量δを用いて、以下の式で表される。
Δx ＝ ｕ − δ・ｙ ...(12)
Δy ＝ ｖ ＋ δ・ｘ ...(13)
これらを上記式(7)に代入すると、以下の式が得られる。
Ｓ² ＝ Σ｛Px・（ｕ−δ・ｙ） ＋ Py・（ｖ＋δ・ｘ） − （z2−z1）｝² ...(14)

すなわち、参照画像データの座標を（ix，iy）として、参照画像データの全画素データの座標値と階調データ（輝度値）を式(14)に代入したときに、Ｓ²を最小にするｕ，ｖ，δを最小自乗法により求めればよい。最小自乗法により、以下の式を得ることができる。

ただし、ｉは全画素データを区別する番号であり、α，β，Ｄ，N1〜N5，Ｍは以下のようにして求められる。

従って、上記式(15)〜(29)を用いて、並進変化量（ｕ，ｖ）と回転変化量（δ）を検出し、これらを並進量情報と回転量情報として取得することができる。ここで、並進変化量は画像データの画素データよりも小さい単位とされているので、精度よく検出を行うことができる。そして、算出された並進変化量や回転変化量を用いて複数の画像データを合成すれば、複数の画像データから高解像度の画像データを得ることが可能となる。

なお、上記推定を行う前に、並進変化（ずれ）のみについて並進変化量を画素データ単位で検出するようにし、画像データ間の並進ずれを画素データ単位で大まかに補正しておいてもよい。すると、さらに精度よく並進量情報と回転量情報とを取得することができ、これら並進量情報と回転量情報とを用いて複数の画像データを合成することにより、さらに高解像度の画像データを得ることが可能となる。画像データ間の並進ずれを大ざっぱに検出する手法、換言すれば画素単位での変化量（ずれ量）を算出する方法として、既述のようにパターンマッチング法による推定手法が広く知られている。

参照画像データの各画素データの輝度をz1（ix，iy）、表示画像データにおいて同じ位置の画素データの輝度をz2（ix，iy）と表す。まず、参照画像データの画素データ（ix，iy）を表示画像データの画素データ（ix，iy）に対応させる場合を基準として、この場合と、表示画像データの画素データ（ix＋１，iy）、（ix−１，iy）、（ix，iy＋１）、（ix，iy−１）に対応させる場合とで、以下のＬが最も小さくなる位置を求める。
Ｌ ＝ Σ｜Z2i−Z1i｜ ...(30)
または、
Ｌ ＝ Σ（Z2i−Z1i）² ...(31)

例えば、表示画像データの画素データ（ix−１，iy）のＬが最小となるとき、参照画像データの画素データ（ix，iy）を表示画像データの画素データ（ix−１，iy）に対応させる場合と、表示画像データの画素データ（ix，iy）、（ix−２，iy）、（ix−１，iy＋１）、（ix−１，iy−１）に対応させる場合とで、Ｌが最も小さくなる位置を求める。このように、Ｌが最小となる表示画像データの画素データの探索を繰り返し行う。

そして、例えば、表示画像データの画素データ（ix−３，iy−１）のＬが最小となるとき、参照画像データの画素データ（ix，iy）を表示画像データの画素データ（ix−３，iy−１）に対応させる場合と、表示画像データの画素データ（ix−２，iy−１）、（ix−４，iy−１）、（ix−３，iy）、（ix−３，iy−２）に対応させる場合とで、Ｌが最も小さくなる位置を求める。

一般に、探索終了時に参照画像データの画素データ（ix，iy）に対応させる表示画像データの画素データの位置が（ix−Δx，iy−Δy）となるとき、参照画像データから表示画像データへの並進変化量は画素データ単位として（Δx，Δy）と表すことができる。そこで、表示画像データについて並進変化量（Δx，Δy）だけ画素データをずらしておくと、変化量の推定を高精度にて行うことができる。

ＣＰＵ１８０は、検出した変化量を用いて参照画像データＲＤ（ＧＤn+1）を変換して表示用画像データＤＤと重ね合わせる（ステップＳ１３２０）。すなわち、ＣＰＵ１８０は、表示用画像データＤＤが展開されているイメージバッファ（メモリ１８１）に、変化量を適用して変換した参照画像データＲＤ（ＧＤn+1）を展開する。具体的には、参照画像データＲＤ（ＧＤn+1）の各画素データについて水平方向に−ｕおよび垂直方向に−ｖだけ移動させて、さらに画像データの中心（または左上隅をはじめとする任意の規定点）を原点として−δだけ回転させる。この結果、例えば、図１２に示すように、表示用画像データＤＤと参照画像データＲＤ（ＧＤn+1）とがずれた状態にて両被写体ＴＤ、ＴＤ’は重なり合う。

ＣＰＵ１８０は、重なり合わされた表示用画像データＤＤと参照画像データＲＤ（ＧＤn+1）における、表示器１１の表示可能領域に該当すると共に表示器１１に表示される画像表示領域ＤＡ（図１３参照）について高解像度化処理を実行して（ステップＳ１３３０）、図５に示す処理ルーチンに戻る。表示用画像データＤＤと参照画像データＲＤ（ＧＤn+1）とが重ね合わされると、図１４に示すように画素データの数が増加する。図１４において黒丸は表示用画像データＤＤを形成する画素データＰ１を、白丸は参照画像データＲＤ（ＧＤn+1）を形成する画素データＰ２を示している。

白四角は、設定された表示倍率を実現するために必要な画素数（解像度）を実現するために新たに生成されるべき設定画素データＰ３を示している。この状態において、表示領域内における各設定画素データＰ３について、表示用画像データＤＤを形成する画素データＰ１と参照画像データＲＤ（ＧＤn+1）を形成する画素データＰ２とを用いて補間演算を実行して、その値を得る。なお、２以上の参照画像データＲＤが用いられる場合には、各参照画像データＲＤのうち設定画素データＰ３に近接する画素データを含む１または複数の参照画像データＲＤが用いられる。補間演算の手法としては、例えば周囲４画素データを設定画素（注目画素）からの距離に応じて重み付けしてその平均値を設定画素データとするバイ・リニア法、最近接の画素データを設定画素（注目画素）の画素データとするニアリストネイバー法、周囲１６画素データから３次元関数を用いて設定画素データを求めるバイキュービック法を用いることができる。

次に、図１５〜図１８を参照して本実施例に係る画像表示装置において実行される表示制御処理のうち、中心位置変更（スクロール）処理について説明する。図１５は本実施例において実行される表示制御処理のうち、中心位置が変更された場合に実行される中心位置変更処理の処理ルーチンを示すフローチャートである。図１６は本実施例において実行される差分鮮明化処理の処理ルーチンを示すフローチャートである。図１７は中心位置が変更される前の表示用画像データに対する表示器１１において表示されている領域を示す説明図である。図１８は中心位置が変更された後の表示用画像データに対する表示器１１において表示されている領域を示す説明図である。なお、図１７および図１８は、イメージバッファ上において展開されている表示用画像データを概念的に示す説明図である。

中心位置変更（スクロール）処理は、キー入力部１６を介して、中心位置の変更操作入力されると開始される。例えば、中心位置の変更が要求される前は、表示用画像データの図１７に波線にて示す領域が表示画像領域として表示器１１に表示されており、中心位置の変更が要求された後は、表示用画像データの図１８に波線にて示す領域が表示画像領域として表示器１１に表示される。なお、本処理のステップのうち、表示倍率変更処理におけるステップと同様のステップについては、簡単な説明にとどめる。

ＣＰＵ１８０は、設定されている表示倍率を取得し（ステップＳ２００）、表示用画像データの領域の内、表示器１１の表示可能領域に対応すると共に設定された表示倍率並びに中心位置の変更によって表示されるべき変更後画像表示領域を算出する（ステップＳ２１０）。すなわち、表示中の画像の表示倍率が変更されない場合には、図１８に示す左上座標（Ｘsn，Ｙsn）および右下座標（Ｘen，Ｙen）で定義される領域が算出される。

ＣＰＵ１８０は、設定された表示倍率が等倍より大きいか否かを判定し（ステップＳ２２０）、設定された表示倍率が等倍以下の場合には（ステップＳ２２０：Ｎｏ）、既述の解像度変換処理を実行し（ステップＳ２３０）、ステップＳ２８０へと移行する。かかる場合には、新たに表示領域として算出された表示画像データの全領域に対して解像度変換処理が実行される。

ＣＰＵ１８０は、設定された表示倍率が等倍より大きいと判定した場合には（ステップＳ２２０：Ｙｅｓ）、差分領域を算出する（ステップＳ２４０）。具体的には、図１８において水平ハッチで示される領域Ａｄの領域が求められる。ＣＰＵ１８０は、差分領域は表示領域より小さいか否かを判定し（ステップＳ２５０）、差分領域が表示領域より小さいと判定した場合には（ステップＳ２５０：Ｙｅｓ）、差分領域に対する鮮明化処理を実行する（ステップＳ２６０）。差分鮮明化処理については後述する。

ＣＰＵ１８０は、差分領域が表示領域以上であると判定した場合には（ステップＳ２５０：Ｎｏ）、先に高解像度画像データが生成された領域と、今回、高解像度画像データが生成されるべき領域との間に重複領域Ａｏ（図１８中斜めハッチ）が存在しないので既述の鮮明化処理を実行する（ステップＳ２７０）。

図１６を参照して、差分鮮明化処理について詳述する。なお、以下の説明では、既述の鮮明化処理と同様の処理については詳細な説明を省略し、相違する処理について詳細に説明する。ＣＰＵ１８０は、表示用画像データに時系列に連続する画像データである参照画像データをメモリカードＭＣから複数取得し、メモリ１８１に格納する（ステップＳ２６００）。あるいは、先の鮮明化処理において取得された参照画像データがメモリ１８１に格納されている場合には、格納されている参照画像データを使用しても良い。

ＣＰＵ１８０は、先の鮮明化処理において算出された変化量を用いて、参照画像データＲＤを変換して表示用画像データＤＤと重ね合わせる（ステップＳ２６１０）。すなわち、部分鮮明化処理に用いられる表示用画像データＤＤと複数の参照画像データＲＤは、鮮明化処理に用いられた表示用画像データＤＤと複数の参照画像データＲＤと同一であるから、両画像データＤＤ、ＲＤ間における変化量は変わらない。

ＣＰＵ１８０は、重なり合わされた表示用画像データＤＤと参照画像データＲＤにおける、差分領域（図１８参照）について高解像度化処理を実行する（ステップＳ２６２０）。高解像度化処理の手法は、鮮明化処理において説明した手法と同様であるから説明を省略する。ＣＰＵ１８０は、差分領域について得られた高解像度画像データと重複領域に外とする高解像度画像データとを結合して変更後画像データを生成し、図１５に示す処理ルーチンに戻る。

ＣＰＵ１８０は、解像度変換処理（ステップＳ２３０）、差分鮮明化処理（ステップＳ２６０）、または鮮明化処理（ステップＳ２７０）のいずれかの処理が終了すると、画像表示処理を実行して（ステップＳ２８０）、本処理ルーチンを終了する。

以上説明したように、本実施例に係る画像表示装置である携帯電話１０は、表示倍率が等倍（１００％）を超えた場合には、対象となる画像データの領域の内、表示器１１が表示可能な表示可能領域であると共に表示器１１に表示される画像表示領域について、鮮明化処理を実行するので、表示用画像データと参照画像データと用いた補間処理におけるＣＰＵ１８０に対する演算負荷を軽減し、迅速に高解像度画像データを生成することができる。

また、表示器１１に表示されている高解像度画像の中心位置が変更される場合には、新たに表示の対象となる差分領域について、表示用画像データと参照画像データと用いた補間処理（高解像度化処理）が実行されるので、高解像度画像のスクロール処理に伴うＣＰＵ１０８に対する負荷を軽減し、スクロール処理を高速化することができる。

さらに、解像度変換による画質の劣化が判別しがたい、表示倍率が１００％以下の場合には、画素間引きを伴う解像度変換によって表示画像データの解像度を変換し、解像度変換による画質の劣化が知覚しやすい、表示倍率が１００％を超える場合には、鮮明化処理によって表示画像データの解像度を変換するので、表示画像の画質劣化を抑制しつつ、表示画像の拡大・縮小処理を高速化することができる。

・その他の実施例：
上記実施例では、高解像度化処理において、表示器１１の表示可能領域に対応する画像表示領域を対象としているが、変化量を用いた参照画像データの変換処理についても画像表示領域のみを対象として実行されても良い。かかる場合には、変換処理においてＣＰＵ１８０に掛かる負荷をさらに軽減し、より迅速に高解像度画像データを得ることができる。したがって、より演算能力の低い画像表示装置においても、円滑に、高解像度画像データを用いた拡大画像の表示、拡大表示のスクロールを実現することができる。

上記実施例では、画像表示装置を例にとって説明したが、画像表示装置に対して外部表示器を接続する場合（外部表示器に対して画像表示装置が画像処理装置として機能する場合）、あるいは、表示器１１を備えない画像処理装置に対しても同様にして本実施例が適用可能であることはいうまでもない。この場合にも、高解像度画像データの生成に伴い画像処理装置に掛かる負荷を軽減し、高速に高解像度画像データを生成することができる。

さらに、上記実施例において説明した表示制御処理をディジタルスチルカメラ４０、ディジタルビデオカメラ４５において実行してもよい。例えば、画像処理機能を持たない表示パネルに対して、その表示可能領域に合わせた表示用の画像データを送出することができる。この場合、本実施例における表示制御処理を実行することによって、ディジタルスチルカメラ４０、ディジタルビデオカメラ４５における演算処理負担を軽減して、例えば、既存のハードウェアリソースにて円滑な高解像度画像データの生成、拡大、縮小処理を実行することができる。

上記実施例では、表示制御処理がソフトウェア的に、すなわちコンピュータプログラムの態様にて実行されているが、上記各処理（ステップ）を実行する論理回路を備えた画像処理ハードウェア回路を用いて実行されてもよい。かかる場合には、ＣＰＵ１８０の負荷を軽減することができると共に、より高速に各処理を実現することができる。画像処理ハードウェア回路は、例えば、携帯電話１０、携帯情報端末２０および画像表示フレーム３０に対しては実装回路として実装され得る。

上記実施例において説明した画像表示処理は、表示制御プログラムとして実現され得ることはもちろんのこと、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ等の光ディスクメディアに格納される形式で、あるいは、ネットワークを介して提供される形式でも実現され得る。

以上、実施例に基づき本発明に係る画像処理装置、画像表示装置、画像処理方法、および画像表示方法を説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。

本実施例に係る画像表示装置を含む画像処理システムの概略構成を示す説明図である。 本実施例に係る画像表示装置である、携帯電話の概略構成を示す説明図である。 携帯電話におけるキー入力部の一例を示す説明図である。 表示制御プログラムを実現する各機能モジュールを示す機能ブロック図である。 本実施例において実行される表示制御処理のうち、表示倍率が変更された場合に実行される表示倍率変更処理の処理ルーチンを示すフローチャートである。 本実施例における表示倍率の変更例を示す説明図である。 画像データと表示器の表示可能領域との関係を示す説明図である。 本実施例における鮮明化処理の詳細な処理ルーチンを示すフローチャートである。 本実施例の鮮明化処理において取得される時系列に連続する複数の画像データを模式的に示す説明図である。 表示画像データの一例を示す説明図である。 参照画像データの一例を示す説明図である。 参照画像データの変換処理の様子を模式的に示す説明図である。 表示器が表示可能な表示可能領域に対応する画像データを示す説明図である。 本実施例における高解像度画像データの生成手法の一例を模式的に示す説明図である。 本実施例において実行される表示制御処理のうち、中心位置が変更された場合に実行される中心位置変更処理の処理ルーチンを示すフローチャートである。 本実施例において実行される差分鮮明化処理の処理ルーチンを示すフローチャートである。 中心位置が変更される前の表示用画像データに対する表示器１１において表示されている領域を示す説明図である。 中心位置が変更された後の表示用画像データに対する表示器１１において表示されている領域を示す説明図である。

符号の説明

１０…携帯電話
１１…表示器
１２…カメラ
１３…アンテナ
１４…スピーカ
１５…マイク
１６…キー入力部
１６１…表示倍率変更ボタン（拡大）
１６２…表示倍率変更ボタン（縮小）
１６３…スクロールボタン
１７…メモリスロット
１８…制御回路
１８０…中央処理装置（ＣＰＵ）
１８１…メモリ
１８２…表示制御部
１８３…画像処理部
１８４…通信制御部
１８５…音声処理部
１８６…キー入力制御部
１８７…メモリ制御部
１８８…接続バス
２０…携帯情報端末（ＰＤＡ）
２１…表示器
３０…画像表示フレーム
３１…表示器
４０…ディジタルスチルカメラ
４５…ディジタルビデオカメラ
ＭＣ…メモリカード

Claims (17)

1. 画像処理装置であって、
   表示画像を所定の表示倍率にて表示可能な出力機器の表示可能領域を示す表示可能領域情報を取得する表示可能領域情報取得手段と、
   前記出力機器において設定された、前記表示画像の変更後の表示倍率を示す変更情報を取得する変更情報取得手段と、
   前記取得された変更情報によって示される変更後の表示倍率が等倍よりも大きい場合には、
   前記取得された表示可能領域情報によって示される表示可能領域に対応すると共に前記出力機器によって表示される画像表示領域について、前記出力機器において表示されている画像のデータを含む表示画像データおよび前記表示画像データに対して時系列に連続する参照画像データを複数用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成する鮮明化処理を実行する鮮明化手段とを備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記鮮明化手段は、
   前記表示画像データの一部または全部と、前記複数の参照画像データの一部または全部とを用いて、前記表示画像データに対する前記複数の参照画像データの変化量を求める変化量算出手段と、
   前記参照画像データの各々の全領域または前記画像表示領域に対応する領域について、前記求められた変化量を低減または解消するように、前記各参照画像データを変換する変換手段と、
   前記画像表示領域について、前記表示画像データと前記変換された各参照画像データを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備える画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記表示倍率は、前記出力機器に入力された画像データの解像度に対する前記出力機器における表示に用いられる表示用画像データの解像度の比率であり、前記等倍は前記入力画像データの解像度に対する表示用画像データの解像度の比率が等しい表示倍率である画像処理装置。
4. 請求項１に記載の画像処理装置はさらに、
   前記取得された表示倍率情報によって示される表示倍率が等倍以下の場合には、
   前記表示画像データを前記変更後の表示倍率へ変換する表示倍率変換手段を備える画像処理装置。
5. 請求項１に記載の画像処理装置はさらに、
   前記出力機器において表示画像の中心位置が変更された場合には、中心位置の変更により前記出力機器に表示される前記表示画像データの領域である変更後画像表示領域のうち、前記高解像度画像データの領域に含まれない差分領域を求める差分領域算出手段と、
   前記差分領域に含まれる、前記表示画像データと前記複数の参照画像データとを用いて、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成する差分鮮明化手段と、
   前記差分領域が前記画像表示領域未満の場合に、前記変更後画像表示領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成する変更後画像データ生成手段とを備える画像処理装置。
6. 画像表示装置であって、
   複数の画素データから形成されている画像データを複数のドット表示によって表示する表示手段と、
   前記表示手段が表示可能な表示解像度を取得する表示可能解像度取得手段と、
   前記表示手段に表示されている表示画像の解像度を変更するための解像度変更手段と、
   前記変更された解像度が、前記表示画像に用いられる画像データを形成する１以上の画素データと前記表示手段の１ドット表示とが対応する解像度であるか否かを判定する判定手段と、
   前記表示画像に用いられる画像データを形成する１以上の画素データが表示器の１ドット表示に対応しないと判定された場合には、前記表示手段の表示可能解像度に対応すると共に前記表示手段に表示される画像表示領域に含まれる、前記表示画像のデータを含む表示画像データを形成する画素データと、前記表示画像データに対して時系列に連続する複数の参照画像データをそれぞれ形成する画素データとを用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成する鮮明化処理手段とを備える画像表示装置。
7. 請求項６に記載の画像表示装置はさらに、
   前記表示手段に表示されている表示画像の中心位置を変更するための中心位置変更手段と、
   前記中心位置変更手段によって、前記表示手段に表示されている表示画像の中心位置が変更された場合には、中心位置の変更により前記表示手段に表示される画像データの領域である変更後画像表示領域のうち、前記高解像度画像データの領域に含まれない差分領域を求める差分領域算出手段と、
   前記差分領域に含まれる、前記表示画像データ画素データと、前記複数の参照画像データとを用いて、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成する差分鮮明化手段と、
   前記差分領域が前記画像表示領域未満の場合に、前記変更後画像表示領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成する変更後画像データ生成手段とを備える画像表示装置。
8. 請求項７に記載の画像表示装置において、
   前記表示画像データと前記変換された複数の参照画像データとの合成は、前記表示画像データを形成する画素データと、前記変換された複数の参照画像データを形成する画素データとを用いた補間処理によって、予め定められた画素位置に新たな画素データを生成することによって実行される画像表示装置。
9. 請求項６に記載の画像表示装置において、
   前記鮮明化手段は、
   前記表示画像データを形成する画素データの一部または全部と、前記複数の参照画像データを形成する画素データの一部または全部とを用いて、前記表示画像データを形成する画素データに対する前記複数の参照画像データを形成する画素データの変化量を求める変化量算出手段と、
   前記参照画像データの各々の全領域または前記画像表示領域に対応する領域について、前記求められた変化量を低減または解消するように、前記各参照画像データを変換する変換手段と、
   前記画像表示領域について、前記表示画像データと前記変換された複数の参照画像データとを合成して、前記高解像度画像データを生成する高解像度画像データ生成手段とを備える画像表示装置。
10. 請求項９に記載の画像表示装置において、
    前記表示画像データと前記変換された複数の画像データとの合成は、前記表示画像データを形成する画素データと、前記変換された複数の参照画像データをそれぞれ形成する画素データとを用いた補間処理によって、予め定められた画素位置に新たな画素データを生成することによって実行される画像表示装置。
11. 請求項９に記載の画像表示装置はさらに、
    前記表示手段に表示されている表示画像の中心位置を変更するための中心位置変更手段と、
    前記中心位置変更手段によって、前記表示手段に表示されている表示画像の中心位置が変更された場合には、中心位置の変更により前記表示手段に表示される画像データの領域である変更後画像表示領域のうち、前記高解像度画像データの領域に含まれない差分領域を求める差分領域算出手段と、
    前記変化量算出手段によって算出された変化量を低減または解消するように、前記差分領域に含まれる、前記複数の参照画像データを変換する差分変換手段と、
    前記差分領域に含まれる、前記表示画像データと前記変換された複数の参照画像データとを合成して、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成する差分鮮明化手段と、
    前記差分領域が前記画像表示領域未満の場合に、前記変更後画像表示領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成する変更後画像データ生成手段とを備える画像表示装置。
12. 請求項６に記載の画像表示装置はさらに、
    前記表示画像に用いられる画像データを形成する１以上の画素データが表示器の１ドット表示に対応すると判定された場合には、前記表示画像データの解像度を前記変更された解像度へ変換する解像度変換手段を備える画像表示装置。
13. 画像処理方法であって、
    表示画像を所定の表示倍率にて表示可能な出力機器の表示可能領域を示す表示可能領域情報を取得し、
    前記出力機器において設定された、前記表示画像の変更後の表示倍率を示す変更情報を取得し、
    前記取得された変更情報によって示される変更後の表示倍率が等倍よりも大きいか否かを判定し、
    前記取得された変更情報によって示される変更後の表示倍率が等倍よりも大きい場合には、前記取得した表示可能領域情報によって示される表示可能領域に対応すると共に前記出力機器によって表示される画像表示領域について、前記出力機器において表示されている画像のデータを含む表示画像データおよび前記表示画像データに対して時系列に連続する参照画像データを複数用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成する画像処理装置。
14. 請求項１３に記載の画像処理方法はさらに、
    前記取得された表示倍率情報によって示される表示倍率が等倍以下の場合には、
    前記表示画像データを前記変更後の表示倍率へ変換する画像表示方法。
15. 請求項１３に記載の画像処理方法はさらに、
    前記出力機器において表示画像の中心位置が変更された場合には、中心位置の変更により前記出力機器に表示される前記表示画像データの領域である変更後画像表示領域のうち、前記高解像度画像データの領域に含まれない差分領域を求め、
    前記差分領域に含まれる、前記表示画像データと、前記複数の参照画像データとを用いて、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成し、
    前記差分領域が前記画像表示領域未満の場合には、前記変更後画像表示領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成する画像処理方法。
16. 画像表示方法であって、
    複数の画素データから形成されている画像データを複数のドット表示によって表示する表示手段が表示可能な表示解像度を取得し、
    前記表示手段に表示されている表示画像の解像度が変更された場合には、前記変更された解像度が、前記表示画像に用いられる画像データを形成する１以上の画素データと前記表示手段の１ドット表示とが対応する解像度であるか否かを判定し、
    前記表示画像に用いられる画像データを形成する１以上の画素データは表示器の１ドット表示に対応しないと判定した場合には、前記表示可能解像度に対応すると共に前記表示器によって表示される画像表示領域に含まれる、前記表示画像のデータを含む表示画像データを形成する画素データと、前記表示画像データに対して時系列に連続する複数の参照画像データをそれぞれ形成する画素データとを用いて、前記表示画像データよりも解像度の高い高解像度画像データを生成し、
    前記生成された高解像度画像データを用いて前記表示手段に画像を表示する画像表示方法。
17. 請求項１６に記載の画像表示方法はさらに、
    前記表示手段に表示されている表示画像の中心位置が変更された場合には、中心位置の変更により前記表示手段に表示される画像データの領域である変更後画像表示領域のうち、前記高解像度画像データの領域に含まれない差分領域を求め、
    前記差分領域に含まれる、前記表示画像データ画素データと、前記複数の参照画像データとを用いて、前記差分領域における前記表示画像データよりも解像度の高い差分高解像度画像データを生成し、
    前記差分領域が前記画像表示領域未満の場合には、前記変更後画像表示領域に含まれない前記高解像度画像データと、前記差分高解像度画像データとを合わせて中心位置変更後の高解像度画像データを生成し、
    前記生成された中心位置変更後の高解像度画像データを用いて前記表示手段に画像を表示する画像表示方法。

Images