JP2006221221A - 複数の低解像度画像を用いた高解像度画像の生成 - Google Patents

Abstract

【課題】 低解像度画像の合成による高解像度化に伴うノイズの増大を軽減しつつ、高精細な画像を得ることが可能な技術を提供する。
【解決手段】 画像処理装置は、エッジ検出部と高解像度化処理部とを備える。高解像度化処理部は、高解像度化処理の処理対象となっている処理位置のエッジ量の大きさに応じて、複数の高解像度化処理モードの中から１つの高解像度化処理モードによる高解像度化を選択して実行する。
【選択図】 図２

Description

本発明は、複数の低解像度画像から高解像度画像を生成する技術に関する。

デジタルビデオカメラで撮影された動画像は、動画像の１シーンをそれぞれ表現する複数のフレーム画像を含んでいる。従来から、複数のフレーム画像を用いて、フレーム画像よりも画素の密度の高い（すなわち解像度の高い）静止画像を生成する処理が知られている（例えば、特許文献１参照）。この処理は、「高解像度化処理」又は「高精細化処理」とも呼ばれている。

なお、本明細書において、「精細度が高い」という文言は、単に解像度（画素密度）が高いだけでなく、画像情報量が多いことを意味する。従って、例えば単純水増し処理によって解像度を２倍にした場合には、解像度は２倍になるが、精細度は変わらない。

特開２００４−２７２７５１号公報

この高解像度化処理では、複数のフレーム画像を合成することによって１枚の高解像度な画像を作成するので、より高精細な画像を得ることができる。しかし、フレーム画像内のうちで画像成分が平滑な画像領域（いわゆる低周波画像領域）では、高解像度化によって画像の精細度はそれほど大きく向上しない。逆に、平滑な画像領域では、高解像度化によってノイズが強調されてしまい、画質が劣化する場合もある。特に、動画はかなりのノイズを含んでいるので、複数のフレーム画像を合成することによって、平滑な画像領域のノイズが増大してしまうという問題が生じ易い傾向にある。

なお、このような問題は、動画像を用いて静止画像を生成する場合に限らず、一般に、複数の低解像度画像を用いて高解像度画像を生成する場合に共通する問題であった。

本発明は、上記の課題を解決するためになされたものであり、低解像度画像の合成による高解像度化に伴うノイズの増大を軽減しつつ、高精細な画像を得ることが可能な技術を提供することを目的とする。

本発明による画像処理装置は、
参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成する画像処理装置であって、
前記参照画像を解析することによって、前記参照画像内のエッジを検出するエッジ検出部と、
前記複数の低解像度画像に基づいて、１枚の高解像度画像を作成するための高解像度化処理を実行する高解像度化処理部と、
を備え、
前記高解像度化処理は、前記複数の低解像度画像のうちの少なくとも１つをそれぞれ利用する高解像度化処理モードとして、高精細化効果が互いに異なる複数の高解像度化処理モードを有しており、
前記高解像度化処理部は、高解像度化処理の処理対象となっている処理位置のエッジ量の大きさに応じて、前記複数の高解像度化処理モードの中から１つの高解像度化処理モードによる高解像度化を選択して実行する。

高精細化効果の大きな処理モードでは、精細度は高くなるがノイズも強調してしまう傾向がある。逆に、高精細化効果の小さな処理モードでは、精細度はあまり高くない代わりにノイズもあまり強調されることが無い。ところで、エッジが大きな位置では画素値の変化が大きいので、高精細化の効果の大きな処理モードを選択的に使用すれば、高精細な画像を得ることができる。一方、エッジが小さな位置では画素値の変化が少ないので、異なる高解像度化処理モードによって実際に得られる精細度にはあまり大きな差異は生じない。また、エッジが小さな位置にノイズが含まれているときに高精細化効果の大きな処理モードで高解像度化すると、ノイズが強調されて却って画質が劣化してしまうおそれがある。本発明では、高精細化効果が互いに異なる複数の高解像度化処理モードを準備しておき、処理位置のエッジ量の大きさに応じてその中の１つを選択的に実行するので、低解像度画像の高解像度化に伴うノイズの増大を軽減しつつ、高精細な画像を得ることができる。

前記複数の高解像度化処理モードは、
前記複数の低解像度画像を合成することによって前記高解像度画像を作成する合成高解像度化処理モードと、
前記参照画像のみを用いて、前記参照画像の解像度を高める単純高解像度化処理とシャープネス強調処理とを実行するシャープネス強調高解像度化処理モードと、
前記参照画像のみを用いて、前記参照画像の解像度を高める単純高解像度化処理とノイズ除去処理とを実行するノイズ除去高解像度化処理モードと、
を有し、
前記高解像度化処理部は、
（ｉ）エッジ量が大きな位置では前記合成高解像度化処理モードによる高解像度化を選択して実行し、
（ｉｉ）エッジ量が中程度の位置では前記シャープネス強調高解像度化処理モードによる高解像度化を選択して実行し、
（ｉｉｉ）エッジ量が小さな位置では前記ノイズ除去高解像度化処理モードによる高解像度化を選択して実行するようにしてもよい。

この構成によれば、エッジ量が大きな位置では高精細な画像を得ることができ、エッジ量が小さな位置ではノイズの小さな画像を得ることができ、エッジ量が中程度の位置では精細度及びノイズ量の双方において中間的な画像を得ることができる。従って、精細度とノイズのバランスが良好な高解像度画像を得ることができる。

前記シャープネス高解像度化処理モードでは、シャープネス強調処理の強さはエッジ量が大きいほど大きく設定されるようにしてもよい。

シャープネス強調処理の強さが高いほど、精細度は高くなり、ノイズは強調され難くなる傾向にある。従って、この構成によれば、精細度とノイズのバランスがさらに良好な高解像度画像を得ることができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、この発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ｂ．合成高解像度化処理の詳細：
Ｃ．変形例：

Ａ．実施例：
図１は、本発明の一実施例としての画像処理システムの構成を示すブロック図である。この画像処理システム８００は、プリンタ５００と、デジタルビデオカメラ３００とを有している。プリンタ５００は、データ処理部１００と、印刷実行部７００（印刷機構）と、を有している。図示は省略しているが、プリンタ５００は、画像や操作ガイダンスを表示するための表示部と、ユーザがプリンタ５００の動作を指定するための操作部と、を備えている。動画の中から高解像度化のために使用する複数のフレームを選択する操作は、これらの表示部や操作部を用いて行われる。

データ処理部１００は、ビデオカメラ３００から動画像を受け取り、高解像度化処理（後述）を行って高解像度画像を生成するとともに、その印刷データを生成する。印刷実行部７００は、この印刷データを受け取って印刷を行う。印刷実行部７００としては、インクジェット印刷機構や、熱転写印刷機構等の、周知の種々の印刷機構を採用することができる。

図２は、データ処理部１００の内部構成を示すブロック図である。データ処理部１００は、エッジ検出部４２０と、複数のラインバッファ４３０と、高解像度化処理部４４０と、印刷データ生成部４５０と、動きベクトル検出部４６０を備えている。エッジ検出部４２０と、高解像度化処理部４４０と、印刷データ生成部４５０と、動きベクトル検出部４６０の機能は、図示しないＣＰＵがコンピュータプログラムを実行することによって実現されている。従って、これらの各部を「プログラムモジュール」、あるいは、単に「モジュール」と呼ぶことも可能である。

本実施例では、３枚のフレーム画像Ｉｉｍｇ１〜３（以下、「入力画像」と呼ぶ）を用いて１枚の高解像度画像Ｏｉｍｇを生成し、その印刷を実行する。３枚の入力画像Ｉｉｍｇ１〜３は、動画像の中から選択されたものであり、ここでは所定の時間間隔Δｔだけ離れた３枚のフレーム画像が選択されている。但し、入力画像の枚数や時間間隔は任意に設定することが可能である。

３枚の入力画像Ｉｉｍｇ１〜３のうちの中央の画像Ｉｉｍｇ２は、参照入力画像Ｒｉｍｇ（「参照画像」とも呼ぶ）として利用される。後述するように、参照入力画像Ｒｉｍｇは、種々の目的のために使用される。すなわち、（ｉ）エッジ検出の対象となり、また、（ｉｉ）単純高解像度化処理の元画像として使用される。なお、参照入力画像Ｒｉｍｇとしては、複数の入力画像Ｉｉｍｇの中の任意の画像を選択することが可能である。

ラインバッファ４３０は、エッジ検出処理のために、参照入力画像Ｒｉｍｇの３ラインＬi-1，Ｌi，Ｌi+1（ｉはライン番号）の画像データを保持するバッファである。エッジ検出部４２０は、これらの３ライン分の画像データからエッジの有無を検出する（詳細は後述）。

高解像度化処理部４４０は、ノイズ除去高解像度化処理部４４１と、シャープネス強調高解像度化処理部４４３と、合成高解像度化処理部４４４とを含んでいる。ノイズ除去高解像度化処理部４４１は、参照入力画像Ｒｉｍｇのみを用いて単純高解像度化とノイズ除去処理とを実行する。一方、シャープネス強調高解像度化処理部４４３は、参照入力画像Ｒｉｍｇのみを用いて単純高解像度化とシャープネス強調処理とを実行する。合成高解像度化処理部４４４は、３枚の入力画像Ｉｉｍｇ１〜３を合成することによって高解像度化を実行する。本明細書では、ノイズ除去高解像度化処理部４４１による処理を「ノイズ除去高解像度化モード」と呼び、シャープネス強調高解像度化処理部４４３による処理を「シャープネス処理高解像度化モード」と呼び、合成高解像度化処理部４４４による処理を「合成高解像度化モード」と呼ぶ。高解像度化処理部４４０は、エッジ検出の結果に応じて、ノイズ除去高解像度化モードとシャープネス強調高解像度化モードと合成高解像度化モードとのうちの１つを選択して実行する。本実施例では、高解像度化は、処理対象となる１ラインＬi 毎に行われる。

高解像度化によって作成された高解像度画像Ｏｉｍｇは、印刷データ生成部４５０に供給される。印刷データ生成部４５０は、高解像度画像Ｏｉｍｇの印刷データを生成し、印刷実行部７００（図１）に供給して印刷を実行させる。

図３は、低解像度画像と高解像度画像の画素位置の関係の一例を示す説明図である。図３において低解像度画像の画素位置を○印で示し、高解像度画像の画素位置を×印で示す。この例では、高解像度画像の画素ピッチＰhighは、低解像度画像の画素ピッチＰlow の半分である。すなわち、高解像度画像は、低解像度画像の２倍の解像度（すなわち２倍の画素密度）を有している。また、高解像度画像の画素位置は、低解像度画像の画素位置から高解像度画素ピッチＰhighの１／２だけ水平方向及び垂直方向にずれている。

図３において、破線で示す枠は、各低解像度画素に対応付けられた４つの高解像度画素の範囲を示している。単純高解像度化においては、１つの低解像度画像の画素値が、この破線内の４つの高解像度画素にコピーされる。すなわち、この破線内の高解像度画素の画素値は、低解像度画素の画素値と同一に設定される。従って、この単純高解像度化では、解像度は高くなるが精細度は変わらない。但し、単純高解像度化処理において、バイリニア法等による補間演算を用いて高解像度画素の画素値を算出してもよい。高解像度化の際に補間演算を利用すると、精細度も若干向上する。ノイズ除去高解像度化処理では、単純高解像度化とともに、ノイズ除去処理が実行される。ノイズ除去処理を行うと、精細度は低下する。また、シャープネス強調高解像度化処理では、単純高解像度化とともに、シャープネス強調処理が実行される。シャープネス強調処理を行うと精細度は向上する。一方、合成高解像度化処理では、参照入力画像Ｒｉｍｇのみでなく、複数の入力画像Ｉｉｍｇ１〜３を共に使用して高解像度画素の画素値が算出される（詳細は後述）。従って、合成高解像度化処理では、解像度のみでなく精細度も向上する。高精細化の効果は、合成高解像度化処理が最も大きく、ノイズ除去高解像度化処理が最も小さく、シャープネス強調高解像度化はこれらの中間である。

図４は、低解像度画像と高解像度画像の画素位置の関係の他の例を示す説明図である。この例では、高解像度画像内の１／４の画素の位置は、低解像度画像の画素の位置と一致している。低解像度画像と高解像度画像の画素位置の関係としては、図３及び図４に示したもの以外の種々のものを採用することも可能である。但し、以下に説明する実施例では、図３に示した位置関係を使用している。

なお、一般に、高解像度画像の画素ピッチＰhighは、低解像度画像の画素ピッチＰlow の１／Ｍ倍（Ｍは１より大きな任意の値）に設定可能である。但し、Ｍは２以上に設定することが好ましく、本実施例では、Ｍ＝２に設定されている。

図５は、本実施例における高解像度化処理の全体手順を示すフローチャートである。ステップＳ４０では、各種の初期化が行われる。この際、高解像度化処理の対象ラインを示す対象ライン番号Ｎlineと、対象画素を示す対象画素番号Ｎpix も０に初期化される。対象ラインＮlineと対象画素Ｎpixは、参照画像Ｒｉｍｇ内のライン及び画素（低解像度画素）を示している。

ステップＳ４１では、動きベクトル検出部４６０によって、各入力画像Ｉｉｍｇの動きベクトル（相対移動量）が算出される。この動きベクトルは、参照入力画像Ｒｉｍｇの全体と、他の入力画像（Ｉｉｍｇ１又はＩｉｍｇ３）の全体と、の相対的な位置を表すベクトルである。従って、入力画像が３枚のときは、２つの動きベクトルが得られる。これらの動きベクトルは、合成高解像度化処理の際に利用される。なお、一般に、入力画像Ｉｉｍｇの数が、参照入力画像Ｒｉｍｇを含めてＮ＋１個（Ｎは１以上の整数）のときには、Ｎ個の動きベクトルが算出される。

ステップＳ４２では、対象ラインＮlineを中心とした３ライン分の画像データが、参照入力画像Ｒｉｍｇから選択されてラインバッファ４３０（図２）に入力される。なお、Ｎline＝０が画像領域の上端ラインを示すものとすると、Ｎline＝０のときには対象ラインＮline（＝Ｌi）の手前のラインＬi-1は現実には存在しない。この場合には、ラインＬi-1の画像データとして、対象ラインＮline（＝Ｌi）の画像データをコピーして使用してもよい。あるいは、ステップＳ４２以降の処理を、Ｎline＝１から開始するようにしてもよい。対象画素Ｎpixに関しても同様である。

ステップＳ４３では、エッジ検出部４２０がラインバッファ４３０内の画像データを用いて、参照画像Ｒｉｍｇ内の対象画素Ｎpixのエッジを検出する。図６は、エッジ検出の方法を示す説明図である。図６（Ａ）は、ｘ方向とｙ方向のエッジ検出用の１次微分フィルタＦＬｘ，ＦＬｙを示している。図６（Ｂ）は、ｘ方向とｙ方向のエッジ検出用のソーベルフィルタＦＬｘ，ＦＬｙを示している。本実施例では、１次微分フィルタＦＬｘ，ＦＬｙを用いている。但し、エッジ検出用フィルタ（「エッジ量算出用フィルタ」とも呼ぶ）としては、これら以外の任意のフィルタを用いることが可能であり、例えば２次微分フィルタを用いることも可能である。

２つの１次微分フィルタＦＬｘ，ＦＬｙを用いて対象画素Ｎpixにフィルタ処理を行うことによって、対象画素Ｎpixのｘ方向のエッジ量成分Ｅｄｘとｙ方向のエッジ量成分Ｅｄｙとを算出することができる。対象画素Ｎpixのエッジ量Ｅｄ及びエッジ方向θは、例えば図６（Ｃ）に示した式に従って算出することができる。このエッジ量Ｅｄは、ｘ方向のエッジ量成分Ｅｄｙとｙ方向のエッジ量成分Ｅｄｙとを総合したエッジ量（「総合エッジ量」とも呼ぶ）である。この例のように、エッジの検出（エッジ量の判定）に用いるエッジ量としては、２つの方向のエッジ量成分を含む総合エッジ量を使用することが好ましい。なお、例えばラプラシアンフィルタを用いて得られるエッジ量は、総合エッジ量の一種と考えることが可能である。

エッジ量の判定は、エッジ量Ｅｄと所定の閾値Ｅｔｈ１，Ｅｔｈ２との比較によって行われる。すなわち、エッジ量Ｅｄが第１の閾値Ｅｔｈ１以下のときにはエッジ量は小であると判定され、２つの閾値Ｅｔｈ１，Ｅｔｈ２の間にあるときにはエッジ量は中程度であると判定され、第２の閾値Ｅｔｈ２以上のときにはエッジ量が大であるものと判定される。

図５のステップＳ４４において、対象画素のエッジが小であると判断された場合には、ステップＳ４５ａにおいてノイズ除去高解像度化処理部４４１が高解像度化処理を実行し、対象画素に対応付けられた複数の高解像度画素（図３において破線で囲まれた４つの高解像度画素）の画素値を算出する。具体的には、まず、参照入力画像Ｒｉｍｇに単純高解像度化処理を行って解像度を２倍にし、その後、ノイズ除去処理を実行する。単純高解像度化処理は、例えば、低解像度画像の画素値を４つの高解像度画素にコピーすることによって実現される。画素値のコピーの代わりに、高解像度画素に近接する複数の低解像度画素の画素値を補間することによって高解像度画素の画素値を決定してもよい。すなわち、単純高解像度化処理では、参照入力画像Ｒｉｍｇのみを用い、１つ以上の最近接画素を参照して各高解像度画素の画素値を生成することができる。ノイズ除去処理としては、例えば平滑化処理を利用することができる。なお、単純高解像度化処理とノイズ除去処理の順番を逆してもよい。

エッジ量が小である滑らかな画像部分は、多くのノイズを含んでいる傾向にある。従って、エッジ量が小さい位置においてノイズ除去処理を行うようにすれば、ノイズの少ない滑らかな高解像度画像を得ることができる。

ステップＳ４４において対象画素のエッジ量が中程度であると判断された場合には、ステップＳ４５ｂにおいてシャープネス強調高解像度化処理部４４３が高解像度化処理を実行する。具体的には、まず、参照入力画像Ｒｉｍｇに単純高解像度化処理を行って解像度を２倍にし、その後、シャープネス強調処理を実行する。シャープネス強調処理としては、例えばアンシャープマスクを用いた処理を利用することができる。なお、単純高解像度化処理とシャープネス強調処理の順番を逆してもよい。

アンシャープマスクを用いたシャープネス強調処理は以下の式で表される。
Ｓ’＝Ｓ＋ｋ（Ｓ−Ｕ）
ここで、Ｓ’はシャープネス強調処理後の画素値、Ｓは元の画素値、Ｕはアンシャープ処理（平滑化処理）後の画素値、ｋは係数である。

シャープネス強調処理の強さは、例えば上式の係数ｋを変更することによって調整することが可能である。シャープネス強調処理の強さを、エッジ量の大きさに応じて調整するようにしても良い。例えば、エッジ量が中程度の範囲（Ｅｔｈ１〜Ｅｔｈ２の範囲）をさらにいくつかのレベル（例えば３〜５個のレベル）に区分し、そのエッジ量のレベルに適した係数ｋの値を予め設定しておくことができる。この場合には、エッジ量が大きいほどシャープネス強調処理の強さ（すなわち係数ｋの値）も大きくすることが好ましい。こうすることによって、エッジ量がより大きな位置では精細度をより高くすることができ、エッジ量がより小さな位置ではノイズをあまり強調しないようにすることができる。

ステップＳ４４において対象画素のエッジ量が大きいと判断された場合には、ステップＳ４５ｃにおいて、合成高解像度化処理部４４４が高解像度化処理を実行し、対象画素に対応付けられた複数の高解像度画素（図３において破線で囲まれた４つの高解像度画素）の画素値を算出する。この合成高解像度化処理では、参照入力画像Ｒｉｍｇのみでなく、複数の入力画像Ｉｉｍｇ１〜３を共に使用して高解像度画素の画素値が算出される。なお、合成高解像度化処理の詳細についてはさらに後述する。

こうして作成された高解像度化画像の画素値は、高解像度化処理部４４０から印刷データ生成部４５０（図２）に順次供給される。

図５のステップＳ４７では、対象画素番号Ｎpixが更新される。なお、対象画素が各ラインの終端に達した場合には、対象ライン番号Ｎlineも更新される。全画素の処理が完了していなければ、ステップＳ４８からステップＳ４２に戻り、ラインバッファ４３０内の画像データが必要に応じて更新されてステップＳ４３〜Ｓ４８の処理が繰り返される。

このように、本実施例では、エッジ量が大きいと判定された画素位置では合成高解像度化処理を実行するので、画素値の変化が急峻な画像部分についてはより高精細な画像を得ることができる。一方、エッジ量が小さいと判定された画素位置では、ノイズ除去高解像度化処理を実行するので、画素値の変化が緩慢な画像部分についてはノイズを低減することができる。さらに、エッジ量が中程度と判定された画素位置では、シャープネス強調高解像度化処理を実行するので、鮮鋭度とノイズのバランスの良い画像を得ることができる。また、ノイズ除去高解像度化処理やシャープネス強調高解像度化処理は、合成高解像度化処理に比べて処理時間が短いので、全体の処理時間を短縮できるという利点もある。

なお、上記実施例では、個々の低解像度画素毎に高解像度化処理モードの選択を行っていたが、この代わりに、各ライン毎に高解像度化処理モードの選択を行うようにしてもよい。例えば、参照入力画像Ｒｉｍｇの各ライン毎に、エッジ量の和に相関のあるエッジ量指標値（例えば、エッジ量の和や、エッジ量の自乗和など）を算出し、そのエッジ量指標値に応じてエッジ量の大きさを判断すれば、各ライン毎に高解像度化処理モードの選択を行うことが可能である。

Ｂ．合成高解像度化処理の詳細：
図７は、合成高解像度化処理部４４４の内部構成を示すブロック図である。合成高解像度化処理部４４４は、制御部２１０と、画像選択部２１５と、低解像度画像推定部２２０と、高解像度画像推定部２３０と、低解像度差分画像生成部２４０と、移動量算出部２５０と、高解像度差分画像生成部２６０と、出力高解像度画像更新部２７０と、を有している。これらの各構成要素の機能については後述する。

図８は、合成高解像度化処理の内容を示す説明図である。図８の例では、３枚の入力画像Ｉｉｍｇから、１枚の高解像度な出力画像Ｏｉｍｇを生成している。以後、図中において、符号ＬＲ(Low Resolution)が付された画像は低解像度な画像を表し、符号ＨＲ(High Resolution)が付された画像は高解像度な画像を表すこととする。

図９は、合成高解像度化処理の手順を示すフローチャートである。ステップＳ１１０では、高解像度画像推定部２３０（図７）が、入力画像Ｉｉｍｇを用いて仮の出力画像Ｏｉｍｇを生成する。図８の例では、時系列に沿った順番が中央である参照入力画像Ｒｉｍｇを用いて仮の出力画像Ｏｉｍｇを生成する。具体的には、高解像度画像推定部２３０は、周知のバイリニア法を用いて、低解像度な参照入力画像Ｒｉｍｇから高解像度な仮の出力画像Ｏｉｍｇを生成する。

なお、後述するように、最終的な出力画像Ｏｉｍｇは、仮の出力画像Ｏｉｍｇを修正することによって生成される。従って、仮の出力画像Ｏｉｍｇの生成方法としては、バイリニア法に限らず、種々の方法を採用することができる。例えば、ニアレストネイバ法を用いてもよい。

また、参照入力画像Ｒｉｍｇを他の規則に従って定めてもよい。例えば、時系列に沿った順番が先頭の入力画像Ｉｉｍｇを参照入力画像Ｒｉｍｇとして用いることとしてもよい。

次のステップＳ１２０では、移動量算出部２５０（図７）が、各入力画像Ｉｉｍｇの相対移動量を算出する。この相対移動量は、ある入力画像Ｉｉｍｇの全体と、参照入力画像Ｒｉｍｇの全体と、の相対的な位置を表す値である。このような相対移動量（相対動き量とも呼ぶ）としては、例えば、入力画像Ｉｉｍｇ全体の参照入力画像Ｒｉｍｇ全体に対する動きベクトルを用いることができる。また、相対移動量としては、画像の平行移動を表す移動量に限らず、他の種々の動きを表す移動量を採用することができる。例えば、平行移動と回転移動とを含む動きを表す移動量を採用してもよい。いずれの場合も、相対移動量の算出方法としては、周知の種々の方法を採用することができる。例えば、各入力画像Ｉｉｍｇから特徴点を抽出し、特徴点の移動量を算出することによって相対移動量を算出する方法を採用することができる。

なお、図５に示した処理手順ではステップＳ１１において動きベクトル（相対移動量）が算出されている。従って、ステップＳ１２０では、その演算を再度行う必要は無く、ステップＳ１１で得られた値をそのまま使用することができる。この場合には、ステップＳ１２０及び移動量算出部２５０を省略することができる。

次のステップＳ１３０では、低解像度画像推定部２２０（図７）が、高解像度な仮の出力画像Ｏｉｍｇを用いて、低解像度な３枚の推定画像Ｅｉｍｇを生成する（詳細は後述）。これらの推定画像Ｅｉｍｇは、仮の出力画像Ｏｉｍｇと整合性のある入力画像を表している。換言すれば、これらの推定画像Ｅｉｍｇは、仮の出力画像Ｏｉｍｇが最適な画像であると仮定した場合に、各入力画像Ｉｉｍｇが有すべき画像を表している。ここで、各推定画像Ｅｉｍｇと各入力画像Ｉｉｍｇとは、一対一に対応付けられている。

具体的には、ステップＳ１３０において、低解像度画像推定部２２０は、仮の出力画像Ｏｉｍｇと、各相対移動量と、を用いて、各推定画像Ｅｉｍｇを生成する。図８の例では、低解像度画像推定部２２０は、仮の出力画像Ｏｉｍｇに対してぼかし処理を行い、さらに、相対移動量に従って画像を移動させ、低解像度化処理を実行することによって、推定画像Ｅｉｍｇを生成する。ぼかし処理（平滑化処理）としては、周知の種々の処理を採用することができる。画像の移動処理では、仮の出力画像Ｏｉｍｇが、各入力画像Ｉｉｍｇと重なるように移動される。また、低解像度化処理としては、周知の種々の処理を採用することができる。例えば、バイリニア法やニアレストネイバ法等の補間処理を採用することができる。また、各推定画像Ｅｉｍｇの画素位置が、仮の出力画像Ｏｉｍｇの画素位置と重なっている場合には、単純に画素を間引く処理を採用してもよい。

次のステップＳ１４０では、低解像度差分画像生成部２４０（図７）が、３枚の入力画像Ｉｉｍｇと３枚の推定画像Ｅｉｍｇとを用いて、各入力画像Ｉｉｍｇ毎の低解像度差分画像ＬＤｉｍｇを生成する。この低解像度差分画像ＬＤｉｍｇの各画素値は、入力画像Ｉｉｍｇと推定画像Ｅｉｍｇとの同じ画素位置における画素値の差分（＝Ｅｉｍｇ−Ｉｉｍｇ）に設定される。この低解像度差分画像ＬＤｉｍｇの意味は、以下のように説明できる。仮の出力画像Ｏｉｍｇと、各入力画像Ｉｉｍｇと、の関係が理想的な状態の場合、すなわち、仮の出力画像Ｏｉｍｇと、各入力画像Ｉｉｍｇと、が、位置（相対移動量）のみが異なる同じ画像を表す場合には、各低解像度差分画像ＬＤｉｍｇの各画素値はゼロに近い値となる。一方、仮の出力画像Ｏｉｍｇと理想的な出力画像との間の差異が大きい場合、すなわち、仮の出力画像Ｏｉｍｇと各入力画像Ｉｉｍｇとの間の差異が大きい場合には、その差異によって、各低解像度差分画像ＬＤｉｍｇの画素値がゼロから離れることとなる。このように、低解像度差分画像ＬＤｉｍｇの画素値のゼロからのズレの大きさは、仮の出力画像Ｏｉｍｇと理想的な出力画像との違いの大きさを意味することになる。従って、低解像度差分画像ＬＤｉｍｇの画素値を仮の出力画像Ｏｉｍｇにフィードバックさせれば、仮の出力画像Ｏｉｍｇを理想的な出力画像に近づけることが可能となる。

次のステップＳ１５０では、高解像度差分画像生成部２６０（図７）は、各低解像度差分画像ＬＤｉｍｇ毎に高解像度な差分画像ＨＤｉｍｇを生成する。具体的には、高解像度差分画像生成部２６０は、低解像度差分画像ＬＤｉｍｇに対して高解像度化処理を行い、さらに、シャープネス強調処理を行い、その後、推定相対移動量に従って画像を移動させることによって、各高解像度差分画像ＨＤｉｍｇを生成する。高解像度化処理としては、周知の種々の処理を採用することができる。例えば、バイリニア法やニアレストネイバ法を採用することができる。シャープネス強調処理としては、周知の種々の処理を採用することができる。例えば、アンシャープマスクを利用した処理を採用してもよい。さらに、画像の移動処理は、高解像度差分画像ＨＤｉｍｇが仮の出力画像Ｏｉｍｇと重なるように行われる。この際、各高解像度差分画像ＨＤｉｍｇの各画素値は、仮の出力画像Ｏｉｍｇと同じ画素位置の画素値を表すように補正される。画素値を補正する処理としては、周知の種々の補間処理を採用することができる。

次のステップＳ１６０では、高解像度差分画像生成部２６０は、各高解像度差分画像ＨＤｉｍｇを合成して１枚の合成済高解像度差分画像ＣＨＤｉｍｇを生成する。この合成済高解像度差分画像ＣＨＤｉｍｇの各画素値は、各高解像度差分画像ＨＤｉｍｇの同じ画素位置の画素値の和に設定される。

次のステップＳ１７０では、出力高解像度画像更新部２７０は、合成済高解像度差分画像ＣＨＤｉｍｇを仮の出力画像Ｏｉｍｇにフィードバックする。このフィードバックは、仮の出力画像Ｏｉｍｇの各画素値を、以下の式（１）に従って修正することによって行われる。

更新後画素値 ＝ 更新前画素値 ＋ α×差分画素値 ...（１）

ここで、更新後画素値は、フィードバック後の仮の出力画像Ｏｉｍｇの画素値である。更新前画素値は、フィードバック前の仮の出力画像Ｏｉｍｇの画素値である。差分画素値は、合成済高解像度差分画像ＣＨＤｉｍｇの同じ画素位置の画素値である。αは、フィードバックの強度を表す係数である。この係数αは、フィードバックが過剰とならないように予め実験的に設定しておけばよい。なお、この係数αの正負は、負のフィードバックを実現するように決定される。本実施例では、差分画素値は、推定画像Ｅｉｍｇから入力画像Ｉｉｍｇを差し引いた値（Ｅｉｍｇ−Ｉｉｍｇ）から得られているので、係数αは、負の値である。

以上の処理によって、仮の出力画像Ｏｉｍｇを入力画像Ｉｉｍｇにより適した画像に更新することが可能となる。ステップＳ１７０の後は、ステップＳ１３０に戻り、ステップＳ１３０〜Ｓ１７０の処理が繰り返し実行される。そして、合成済高解像度差分画像ＣＨＤｉｍｇの画素値が充分に小さくなった時点で、制御部２１０は、処理が収束したものと判断して、更新を完了する。こうして最終的に更新された出力画像Ｏｉｍｇは、最終的な出力画像Ｏｉｍｇとして利用される。

なお、この実施例では、ステップＳ１３０においてぼかし処理（平滑化処理）を実行しているので、低解像度差分画像ＬＤｉｍｇにおいて、各入力画像Ｉｉｍｇの鮮鋭な部分の画素値の絶対値を平滑な部分の画素値の絶対値よりも大きくすることができる。さらに、ステップＳ１５０でシャープネス強調処理を実行しているので、高解像度差分画像ＨＤｉｍｇにおいて、各入力画像Ｉｉｍｇの鮮鋭な部分を強調させることができる。その結果、更新後の仮の出力画像Ｏｉｍｇを、各入力画像Ｉｉｍｇと整合性のある鮮鋭な画像とすることができる。

なお、図８及び図９に示した合成高解像度化処理は、１枚の画像全体に対しても実行することができ、あるいは、１ライン毎に実行することも可能である。１ライン毎に実行する場合には、図８の各画像Ｅｉｍｇ，ＬＤｉｍｇ，ＨＤｉｍｇ，ＣＨＤｉｍｇ，Ｏｉｍｇとしては、処理対象とする１ライン分の画像が少なくとも生成される。

ところで、図５で説明した高解像度化処理モードの選択は、前述したように各画素毎又は各ライン毎に実行することができる。各画素素毎に高解像度化処理モードの選択を行う場合には、例えば、図８及び図９に示した合成高解像度化処理を各ライン毎に実行し、その後、単純高解像度化処理を選択すべき画素に関しては、合成高解像度化処理で得られた画素値の代わりに単純高解像度化処理で得られた画素値を使用することによって、高解像度画像を生成することが可能である。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
上記実施例では、図５に示した３つの高解像度化処理を利用していたが、これら以外の種々の高解像度化処理を利用することも可能である。具体的には、例えば、図５のステップＳ４５ａにおいて、ノイズ除去高解像度化処理の代わりに単純高解像度化処理（ノイズ除去を行わない処理）を選択するようにしてもよい。また、ステップＳ４５ｂにおいて、シャープネス強調高解像度化処理の代わりに、単純高解像度化処理（シャープネス強調を行わない処理）を選択するようにしてもよい。また、図５に示した３つの高解像度化処理に加えて、単純高解像度化処理も選択肢として追加するようにしてもよい。単純高解像度化処理は、高精細化効果とノイズの両方の観点において、ノイズ除去高解像度化処理とシャープネス強調高解像度化処理の中間的な効果を有している。

これらの説明からも理解できるように、高解像度化処理モードとしては、複数の低解像度画像のうちの１つ以上を利用するものであって、高精細化の効果が異なる複数の処理モードを利用することが可能である。また、複数の高解像度化処理モードとしては、３つ以上を予め準備しておくことが好ましい。このようにすれば、得られた高解像度画像内において、各処理モードで処理された位置同士の境界が目立ち難くなるので、全体として画質を向上させることができる。

Ｃ２．変形例２：
合成高解像度化処理としては、図８及び図９に示したもの以外の種々の処理を採用することが可能である。例えば、他の合成高解像度化処理としては、各高解像度画素に近接した低解像度画素を３つの入力画像Ｉｉｍｇ１〜３からそれぞれ１つずつ選択し、これらの３つの低解像度画素画素の画素値を補間することによって高解像度画素の画素値を求める方法を採用することができる。また、画素値の補間演算方法としては、例えばバイリニア法やバイキュービック法などの種々の方法を使用することが可能である。

Ｃ３．変形例３：
上記実施例においては、データ処理部１００をプリンタ内に設けることとしたが、この代わりに、データ処理部１００を、一般的なパーソナルコンピュータを用いて構成することとしてもよい。また、データ処理部１００を、情報携帯端末や、携帯電話、デジタルビデオカメラ、デジタルスチルカメラ等の他の種々の電子機器に実装することとしてもよい。

Ｃ４．変形例４：
上記各実施例では、動画像から高解像度な静止画像を生成することとしているが、この代わりに、複数枚の低解像度な静止画像から、高解像度な静止画像を生成することとしてもよい。

Ｃ５．変形例５：
上記各実施例において、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよく、逆に、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。

本発明の一実施例としての画像処理システムの構成を示すブロック図である。 データ処理部の内部構成を示すブロック図である。 低解像度画像と高解像度画像の画素位置の関係の一例を示す説明図である。 低解像度画像と高解像度画像の画素位置の関係の他の例を示す説明図である。 本実施例における高解像度化処理の全体手順を示すフローチャートである。 エッジ検出の方法を示す説明図である。 合成高解像度化処理部の内部構成を示すブロック図である。 合成高解像度化処理の内容を示す説明図である。 合成高解像度化処理の手順を示すフローチャートである。

符号の説明

１００…データ処理部
２１０…制御部
２１５…画像選択部
２２０…低解像度画像推定部
２３０…高解像度画像推定部
２４０…低解像度差分画像生成部
２５０…移動量算出部
２６０…高解像度差分画像生成部
２７０…出力高解像度画像更新部
３００…デジタルビデオカメラ
４２０…エッジ検出部
４３０…ラインバッファ
４４０…高解像度化処理部
４４１…ノイズ除去高解像度化処理部
４４３…シャープネス強調高解像度化処理部
４４４…合成高解像度化処理部
４５０…印刷データ生成部
４６０…動きベクトル検出部
５００…プリンタ
７００…印刷実行部
８００…画像処理システム

Claims (5)

1. 参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成する画像処理装置であって、
   前記参照画像を解析することによって、前記参照画像内のエッジを検出するエッジ検出部と、
   前記複数の低解像度画像に基づいて、１枚の高解像度画像を作成するための高解像度化処理を実行する高解像度化処理部と、
   を備え、
   前記高解像度化処理は、前記複数の低解像度画像のうちの少なくとも１つをそれぞれ利用する高解像度化処理モードとして、高精細化効果が互いに異なる複数の高解像度化処理モードを有しており、
   前記高解像度化処理部は、高解像度化処理の処理対象となっている処理位置のエッジ量の大きさに応じて、前記複数の高解像度化処理モードの中から１つの高解像度化処理モードによる高解像度化を選択して実行する、画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記複数の高解像度化処理モードは、
   前記複数の低解像度画像を合成することによって前記高解像度画像を作成する合成高解像度化処理モードと、
   前記参照画像のみを用いて、前記参照画像の解像度を高める単純高解像度化処理とシャープネス強調処理とを実行するシャープネス強調高解像度化処理モードと、
   前記参照画像のみを用いて、前記参照画像の解像度を高める単純高解像度化処理とノイズ除去処理とを実行するノイズ除去高解像度化処理モードと、
   を有し、
   前記高解像度化処理部は、
   （ｉ）エッジ量が大きな位置では前記合成高解像度化処理モードによる高解像度化を選択して実行し、
   （ｉｉ）エッジ量が中程度の位置では前記シャープネス強調高解像度化処理モードによる高解像度化を選択して実行し、
   （ｉｉｉ）エッジ量が小さな位置では前記ノイズ除去高解像度化処理モードによる高解像度化を選択して実行する、画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記シャープネス高解像度化処理モードでは、シャープネス強調処理の強さはエッジ量が大きいほど大きく設定される、画像処理装置。
4. 参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成する画像処理方法であって、
   （ａ）前記参照画像を解析することによって、前記参照画像内のエッジを検出する工程と、
   （ｂ）前記複数の低解像度画像に基づいて、１枚の高解像度画像を作成するための高解像度化処理を実行する工程と、
   を備え、
   前記高解像度化処理は、前記複数の低解像度画像のうちの少なくとも１つをそれぞれ利用する高解像度化処理モードとして、高精細化効果が互いに異なる複数の高解像度化処理モードを有しており、
   前記工程（ｂ）は、高解像度化処理の処理対象となっている処理位置のエッジ量の大きさに応じて、前記複数の高解像度化処理モードの中から１つの高解像度化処理モードによる高解像度化を選択して実行する工程を含む、画像処理方法。
5. 参照画像を含む複数の低解像度画像を用いて１枚の高解像度画像を作成するためのコンピュータプログラムであって、
   前記参照画像を解析することによって、前記参照画像内のエッジを検出するエッジ検出機能と、
   前記複数の低解像度画像に基づいて、１枚の高解像度画像を作成するための高解像度化処理を実行する高解像度化処理機能と、
   をコンピュータに実現させるコンピュータプログラムを含み、
   前記高解像度化処理は、前記複数の低解像度画像のうちの少なくとも１つをそれぞれ利用する高解像度化処理モードとして、高精細化効果が互いに異なる複数の高解像度化処理モードを有しており、
   前記高解像度化処理機能は、高解像度化処理の処理対象となっている処理位置のエッジ量の大きさに応じて、前記複数の高解像度化処理モードの中から１つの高解像度化処理モードによる高解像度化を選択して実行する機能を含む、コンピュータプログラム。

Images