JP2006011999A - ズレ量に応じた解像度変換処理の実行 - Google Patents

Abstract

【課題】 複合画像に含まれるオブジェクト画像に対して適切な解像度変換処理を実行することのできる技術を提供する。
【解決手段】 画像処理方法は、（ａ）対象複合画像に含まれて特定のオブジェクトを表す対象オブジェクト画像と、参照複合画像に含まれて特定のオブジェクトを表す参照オブジェクト画像と、を選択する工程と、（ｂ）対象複合画像内における特定オブジェクトの位置と、参照複合画像内における特定オブジェクトの位置と、の間のズレ量を検出する工程と、（ｃ）ズレ量に応じた解像度変換処理を実行する工程と、を備える。工程（ｃ）は、ズレ量が所定条件を満足する場合には、対象オブジェクト画像と参照オブジェクト画像とを用いる第１種の解像度変換処理を実行し、ズレ量が所定条件を満足しない場合には、対象オブジェクト画像のみを用いる第２種の解像度変換処理を実行する工程を含む。
【選択図】 図２

Description

本発明は、解像度変換処理の技術に関する。

動画像は、デジタルデータ形式で作成される場合が多い。特に、近年では、動画像を構成する各画像が、複数のオブジェクト画像で構成される場合がある。このような動画像データとしては、例えば、ＭＰＥＧ４形式のデータが挙げられる。

動画像を拡大して精細に表示したり、動画像から選択される１つの画像を拡大して精細な静止画像を生成したりすることができれば、便利である。

特開２００２−３３５５３０号公報

しかしながら、従来では、動画像に含まれる１つの画像（元画像）を拡大処理すると画質が低下してしまい、精細な画像を得ることが困難であった。これは、元画像の解像度（画素数）が充分でなく、拡大処理の際に、元画像の画素数が単純に整数倍されていることに起因する。このように、元画像の画素数を単純に増大させる場合には、観察者は、動画像内の動きのある対象物が特に粗く表現されているという印象を受ける。また、従来では、複数のオブジェクト画像で構成される複合画像から解像度の高い精細な拡大画像を得ることについて充分に考慮されていなかった。

この発明は、従来技術における上述の課題を解決するためになされたものであり、複合画像に含まれるオブジェクト画像に対して適切な解像度変換処理を実行することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明の装置は、画像処理装置であって、
複数種のオブジェクト画像をそれぞれ含む複数の複合画像から、対象複合画像に含まれて特定のオブジェクトを表す対象オブジェクト画像と、参照複合画像に含まれて前記特定のオブジェクトを表す参照オブジェクト画像と、を選択する選択部と、
前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間のズレ量を検出する検出部と、
前記ズレ量に応じた解像度変換処理を実行することによって、前記対象オブジェクト画像の解像度よりも高い解像度を有する処理済み対象オブジェクト画像を生成する生成部と、
を備え、
前記生成部は、
前記ズレ量が所定条件を満足する場合には、前記対象オブジェクト画像と前記参照オブジェクト画像とを用いる第１種の解像度変換処理を実行し、
前記ズレ量が前記所定条件を満足しない場合には、前記対象オブジェクト画像のみを用いる第２種の解像度変換処理を実行することを特徴とする。

この装置では、対象複合画像内における特定オブジェクトの位置と、参照複合画像内における特定オブジェクトの位置と、の間のズレ量に応じて解像度変換処理が変更されるため、対象オブジェクト画像に対して適切な解像度変換を実行することが可能となる。

上記の装置において、
前記第１種の解像度変換処理は、
前記対象複合画像内における前記特定オブジェクトと、前記参照複合画像内における前記特定オブジェクトと、の間の回転方向のズレを含む位置ズレが小さくなるように、前記対象オブジェクト画像と前記参照オブジェクト画像との位置合わせが実行された状態で、前記対象オブジェクト画像と前記参照オブジェクト画像とを用いて、前記処理済み対象オブジェクト画像を生成する処理を含むことが好ましい。

こうすれば、位置合わせ済みの対象オブジェクト画像と参照オブジェクト画像とを用いて、精細な処理済み対象オブジェクト画像を得ることができる。

上記の装置において、
前記選択部は、複数の前記参照複合画像に含まれる複数の前記参照オブジェクト画像を選択し、
前記検出部は、複数の前記ズレ量であって、前記各ズレ量は前記対象複合画像内における前記特定オブジェクトの位置と前記各参照複合画像における前記特定オブジェクトの位置との間のズレ量である、前記複数のズレ量を検出し、
前記生成部は、
前記複数のズレ量のうちの少なくとも１つが前記所定条件を満足する場合には、前記対象オブジェクト画像と、前記複数の参照複合画像のうちの前記所定条件を満足する前記少なくとも１つのズレ量に対応する少なくとも１つの対応参照複合画像と、を用いて、前記第１種の解像度変換処理を実行し、
前記複数のズレ量のうちのいずれも前記所定条件を満足しない場合には、前記第２種の解像度変換処理を実行することが好ましい。

このように、複数の参照オブジェクト画像を選択すれば、第１種の解像度変換処理を実行する際に、さらに精細な処理済み対象オブジェクト画像を生成することができる。

上記の装置において、
前記ズレ量は、前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間の並進方向のズレ量を含むことが好ましい。

上記の装置において、
前記所定条件は、前記並進方向のズレ量の単位画素サイズ未満の値が、単位画素サイズの約０．１倍から約０．９倍の範囲内の値であることであることが好ましい。

こうすれば、参照オブジェクト画像を用いる第１種の解像度変換処理の実行が有効であるか否かをうまく判断することができる。

上記の装置において、
前記ズレ量は、前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間の回転方向のズレ量を含んでいてもよい。

上記の装置において、
前記複数種のオブジェクト画像のそれぞれは、前記対象オブジェクト画像として選択され、
前記ズレ量は、前記複数種のオブジェクト画像のそれぞれに対して検出され、
前記処理済み対象オブジェクト画像は、前記複数種のオブジェクト画像のそれぞれに対して生成されるようにしてもよい。

こうすれば、複数種の処理済みオブジェクト画像を含む処理済みの複合画像を得ることができる。例えば、動画像から処理済み静止画像を得ることができる。

上記の装置において、
前記複数の複合画像のそれぞれに含まれて前記特定オブジェクトを表す特定種のオブジェクト画像は、前記対象オブジェクト画像として順次選択され、
前記ズレ量は、前記複数の複合画像のそれぞれに含まれる前記特定種のオブジェクト画像に対して順次検出され、
前記処理済み対象オブジェクト画像は、前記複数の複合画像のそれぞれに含まれる前記特定種のオブジェクト画像に対して順次生成されるようにしてもよい。

こうすれば、特定のオブジェクトに関して、複数の処理済みのオブジェクト画像を得ることができる。例えば、動画像から処理済みオブジェクト動画像を得ることができる。

なお、この発明は、種々の形態で実現することが可能であり、例えば、画像処理装置および方法、該画像処理装置を備える印刷装置および方法、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

Ａ．第１実施例：
次に、本発明の実施の形態を実施例に基づき説明する。図１は、第１実施例における画像処理システムを示す説明図である。画像処理システムは、パーソナルコンピュータ２００とデジタルビデオカメラ３１０とプリンタ３２０とを備えている。なお、本実施例のプリンタ３２０は、インクジェット方式で印刷を実行する。

パーソナルコンピュータ２００は、ＣＰＵ２１０と、ＲＯＭやＲＡＭなどの内部記憶装置２２０と、外部記憶装置２５０と、表示部２６０と、マウスやキーボードなどの操作部２７０と、インタフェース部（Ｉ／Ｆ部）２９０と、を備えている。Ｉ／Ｆ部２９０は、外部に設けられた種々の機器との間でデータ通信を行う。図１では、Ｉ／Ｆ部２９０は、ケーブルを介してデジタルビデオカメラ３１０と接続されており、デジタルビデオカメラから動画像データを受け取る。また、Ｉ／Ｆ部２９０は、ケーブルを介してプリンタ３２０と接続されており、プリンタに印刷データを供給する。

内部記憶装置２２０には、画像処理部２２２として機能するアプリケーションプログラムと、印刷データ生成部２２４として機能するコンピュータプログラム（プリンタドライバ）と、が格納されている。画像処理部２２２は、解像度変換部２３０を備えており、解像度変換部２３０は、後述するように、選択部２３２と検出部２３４と生成部２３６とを含んでいる。解像度変換部２３０は、動画像データの解像度を変換することによって、高い解像度を有する変換済み動画像データを生成することができる。印刷データ生成部２２４は、変換済み動画像データから選択された画像データを用いて印刷データを生成し、印刷データをプリンタ３２０に供給することができる。画像処理部２２２と印刷データ生成部２２４との機能は、ＣＰＵ２１０がコンピュータプログラムを実行することによって実現される。なお、画像処理部２２２と印刷データ生成部２２４との機能を実現するコンピュータプログラムは、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録された形態で提供される。

Ａ−２．画像処理部の処理内容：
図２は、画像処理部２２２（図１）の処理手順を示すフローチャートである。

ステップＳ１０２では、画像処理部２２２は、ユーザによって入力された動画像および拡大率（すなわち解像度の倍率）の指定を受け取る。なお、本実施例では、拡大率は水平方向（横方向）および垂直方向（縦方向）に１５０％（１．５倍）に設定されたものとして説明するが、拡大率は、任意に設定可能である。画像処理部２２２は、ユーザによって指定された動画像データを読み出す。

図３は、動画像データの構成を模式的に示す説明図である。図３（Ａ）は、動画像に含まれる一連の複数の画像を示しており、各画像は、Ｐ１，Ｐ２，Ｐ３・・・の順に再生される。図３（Ａ）では、１番目の画像Ｐ１の内容が示されている。この画像Ｐ１には、背景（山を含む風景）と車と人物との３つのオブジェクトが含まれている。

図３（Ｂ）〜（Ｄ）は、動画像を構成する３種類のオブジェクト画像群を示している。図３（Ｂ）は、背景を含むオブジェクト画像群Ｐ１ａ〜Ｐ６ａを示しており、図３（Ｃ）は、車を含むオブジェクト画像群Ｐ１ｂ〜Ｐ６ｂを示しており、図３（Ｄ）は、人物を含むオブジェクト画像群Ｐ１ｃ〜Ｐ６ｃを示している。図３（Ａ）に示す画像Ｐ１は、３つのオブジェクト画像Ｐ１ａ，Ｐ１ｂ，Ｐ１ｃを合成することによって形成される複合画像である。他の複合画像Ｐ２〜Ｐ６についても同様である。

なお、各オブジェクト画像は矩形形状を有しており、各オブジェクト画像のサイズ（すなわち解像度）は互いに等しい。また、各複合画像のサイズ（すなわち解像度）は、各複合画像を構成するオブジェクト画像のサイズと等しい。

ステップＳ１０４（図２）では、選択部２３２は、動画像から対象複合画像を選択して、対象複合画像から対象オブジェクト画像を選択する。ステップＳ１０６では、ステップＳ１０４と同様に、選択部２３２は、動画像から参照複合画像を選択して、参照複合画像から参照オブジェクト画像を選択する。ただし、ステップＳ１０６では、対象複合画像の次に再生される画像が、参照複合画像として選択される。また、ステップＳ１０６では、参照オブジェクト画像として、対象オブジェクト画像と同じオブジェクトを含むものが選択される。例えば、ステップＳ１０４で、１番目の複合画像Ｐ１を構成する車を含むオブジェクト画像Ｐ１ｂが選択されると、ステップＳ１０６では、２番目の複合画像Ｐ２を構成する車を含む参照オブジェクト画像Ｐ２ｂが選択される。

なお、本実施例では、説明の便宜上、車を含むオブジェクト画像に対する処理に注目して説明するが、実際には、背景を含むオブジェクト画像や、人物を含むオブジェクト画像に対しても、同様の処理が実行される。

ステップＳ１０８では、検出部２３４は、オブジェクト間のズレ量を検出する。具体的には、対象複合画像内におけるオブジェクトの位置（形成位置）と、参照複合画像内におけるオブジェクトの位置（形成位置）と、の間のズレ量が検出される。

図４は、ズレ量の決定手法を示す説明図である。図４（Ａ）は、対象オブジェクト画像Ｐ１ｂを示しており、図４（Ｂ）は、参照オブジェクト画像Ｐ２ｂを示している。図４（Ａ），（Ｂ）では、対象複合画像Ｐ１内における（対象オブジェクト画像Ｐ１ｂ内における）車の位置と、参照複合画像Ｐ２内における（参照オブジェクト画像Ｐ２ｂ内における）車の位置とは、異なっている。

図４（Ｃ）では、対象オブジェクト画像Ｐ１ｂ内の車と、参照オブジェクト画像Ｐ２ｂ内の車と、がほぼ一致するように、２つのオブジェクト画像Ｐ１ｂ，Ｐ２ｂの位置合わせが行われている。より具体的には、参照オブジェクト画像Ｐ２ｂは、その位置が変更された状態で、対象オブジェクト画像Ｐ１ｂ上に重ねられている。

なお、２つのオブジェクト画像Ｐ１ｂ，Ｐ２ｂの位置合わせは、例えば、平行移動と回転とを組み合わせたパターンマッチング法を利用することによって、実行可能である。このパターンマッチング法の概要は、以下の通りである。対象オブジェクト画像Ｐ１ｂ内の各画素の中心点の値をＶ１ｉとする。なお、各画素の中心点の値は、各画素の値に設定される。また、対象オブジェクト画像Ｐ１ｂ内の各画素の中心点に対応する位置変更後の参照オブジェクト画像Ｐ２ｂ内の対応点の値をＶ２ｊとする。なお、対応点の値Ｖ２ｊは、参照オブジェクト画像内の対応点付近の画素の中心点の値を補間して得られる。そして、Σ｜Ｖ１ｉ−Ｖ２ｊ｜が最小となるように、参照オブジェクト画像の位置が調整される。これにより、２つのオブジェクト画像Ｐ１ｂ，Ｐ２ｂ内のオブジェクト（車）がほぼ一致するように、２つのオブジェクト画像の位置合わせを行うことができる。なお、２つのオブジェクト画像の位置合わせは、１画素未満の細かなレベルで位置ズレが解消されるように行われる。

上記のように、２つのオブジェクト画像の位置合わせが完了すると、対象オブジェクト画像Ｐ１ｂの中心点Ｏ１と、第２のオブジェクト画像Ｐ２ｂの中心点Ｏ２とは、ずれる。図４（Ｄ）では、図４（Ｃ）の２つのオブジェクト画像の中心点Ｏ１，Ｏ２付近が拡大して示されている。図示するように、２つのオブジェクト画像Ｐ１ｂ，Ｐ２ｂは、並進方向（すなわち水平方向および垂直方向）にｄｘ，ｄｙだけずれている。また、２つのオブジェクト画像Ｐ１ｂ，Ｐ２ｂは、回転方向にｄθだけずれている。

ステップＳ１１０（図２）では、生成部２３６は、２つのオブジェクト間のズレ量が所定条件を満足するか否か判断する。具体的には、並進方向のズレ量ｄｘ，ｄｙが、以下の式（１）の条件を満足するか否かが判断される。

ＴＬ＜abs （ｄｘ／ｐ−div（ｄｘ／ｐ））＜ＴＵ
かつ
ＴＬ＜abs （ｄｙ／ｐ−div（ｄｙ／ｐ））＜ＴＵ …式（１）

ここで、ｐは１画素のサイズを示している。div( )は、商（整数部分）を求める演算式である。abs( )は、絶対値を求める演算式である。したがって、abs （ｄｘ／ｐ−div（ｄｘ／ｐ））は、ｘ方向のズレ量の１画素未満の値を示しており、abs （ｄｙ／ｐ−div（ｄｙ／ｐ））は、ｙ方向のズレ量の１画素未満の値を示している。なお、以下では、このズレ量の１画素未満の値を「正味ズレ量」とも呼ぶ。

本実施例では、ＴＬ（閾値下限）は０．１に設定されており、ＴＵ（閾値上限）は０．９に設定されている。すなわち、２つのオブジェクト間の水平方向および垂直方向の正味ズレ量が０．１〜０．９の範囲内である場合には、条件を満足すると判断される。

ズレ量が式（１）の条件を満足する場合には、２つのオブジェクト間には、有意なズレが存在する。オブジェクトが車などの移動するオブジェクトである場合には、２つのオブジェクト画像間にズレが発生し、この結果、ズレ量が式（１）の条件を満足する可能性が高い。一方、ズレ量が式（１）の条件を満足しない場合には、２つのオブジェクト間には、有意なズレが存在しない。例えば、オブジェクトが風景などの移動しないオブジェクトである場合には、２つのオブジェクト画像間にズレが殆ど発生せず、この結果、ズレ量が式（１）の条件を満足しない可能性が高い。

ステップＳ１１０（図３）においてズレ量が式（１）の条件を満足すると判断される場合には、ステップＳ１１２に進む。

ステップＳ１１２では、生成部２３６は、対象オブジェクト画像と参照オブジェクト画像とを用いる第１種の解像度変換処理を実行し、対象オブジェクト画像よりも高い解像度を有する高解像度オブジェクト画像（処理済み対象オブジェクト画像）を生成する。なお、第１種の解像度変換処理は、対象オブジェクト画像と参照オブジェクト画像との位置合わせが行われた状態で、実行される。

図５は、第１種の解像度変換処理による高解像度オブジェクト画像の作成手法を示す説明図である。図５では、対象オブジェクト画像Ｐ１ｂを構成する複数の画素の中心点と、参照オブジェクト画像Ｐ２ｂを構成する複数の画素の中心点と、が示されている。なお、図５では、図４に示すように、対象オブジェクト画像Ｐ１ｂと参照オブジェクト画像Ｐ２ｂとの位置合わせが行われている。具体的には、参照オブジェクト画像Ｐ２ｂは、対象オブジェクト画像Ｐ１ｂに対して、図４で求められたズレ量ｄｘ，ｄｙ，ｄθだけずれている。また、図５では、生成すべき高解像度オブジェクト画像ＱＰ１ｂを構成する複数の画素の中心点が示されている。図５から分かるように、高解像度オブジェクト画像ＱＰ１ｂの解像度は、対象オブジェクト画像Ｐ１ｂの解像度の１．５倍に設定されている。なお、以下では、画素の中心点を「格子点」とも呼ぶ。

高解像度オブジェクト画像ＱＰ１ｂは、高解像度オブジェクト画像を構成する各画素の値を決定することによって生成される。例えば、注目画素Ｇａの値（すなわち、注目格子点Ｇａの値）を決定する際には、まず、２つのオブジェクト画像Ｐ１ｂ，Ｐ２ｂに含まれる複数の格子点のうち、注目格子点Ｇａに最も近い１つの格子点（最近傍格子点）が選択される。図５では、格子点Ｂ２ａが最近傍格子点である。次に、２つのオブジェクト画像Ｐ１ｂ，Ｐ２ｂのうち、最近傍格子点Ｂ２ａが属する参照オブジェクト画像Ｐ２ｂを用いて、注目格子点Ｇａの値が決定される。具体的には、注目格子点Ｇａの値は、参照オブジェクト画像Ｐ２ｂに含まれる４つの格子点Ｂ２ａ〜Ｂ２ｄの値を用いて決定される。なお、４つの格子点Ｂ２ａ〜Ｂ２ｄは、注目格子点Ｇａを囲む近傍の格子点であり、最近傍格子点Ｂ２ａを含んでいる。

図６は、注目画素Ｇａの値の算出手法を示す説明図である。なお、図６では、図５の注目格子点Ｇａ付近が示されている。４つの近傍格子点Ｂ２ａ〜Ｂ２ｄで形成される正方形の領域は、注目格子点Ｇａによって４つの矩形領域Ｗａ〜Ｗｄに区分される。第１の矩形領域Ｗａは、注目格子点Ｇａと、格子点Ｂ２ａに対向する格子点Ｂ２ｃと、を２つの端点とする領域である。他の矩形領域Ｗｂ〜Ｗｄについても同様である。そして、注目画素Ｇａの値Ｖは、式（２）を用いて決定される。

Ｖ＝（Ｓａ・Ｖａ＋Ｓｂ・Ｖｂ＋Ｓｃ・Ｖｃ＋Ｓｄ・Ｖｄ）／Ｓ
Ｓ＝Ｓａ＋Ｓｂ＋Ｓｃ＋Ｓｄ …式（２）

ここで、Ｓａ〜Ｓｄは、矩形領域Ｗａ〜Ｗｄの面積を示している。Ｖａ〜Ｖｄは、４つの近傍画素Ｂ２ａ〜Ｂ２ｄの値を示している。

式（２）に示すように、注目格子点Ｇａの位置に応じて変化する各係数（重み）Ｓａ〜Ｓｄを各近傍画素の値Ｖａ〜Ｖｄに乗じれば、注目画素Ｇａの値を適切に求めることができる。

なお、注目格子点に最も近い最近傍格子点が対象オブジェクト画像に含まれる場合には、注目画素の値は、対象オブジェクト画像に含まれる４つの近傍画素の値を用いて生成される。

上記のように、対象オブジェクト画像と参照オブジェクト画像とを用いて、高解像度オブジェクト画像を構成するすべての画素の値を求めることによって、精細な高解像度オブジェクト画像ＱＰ１ｂが生成される。

一方、ステップＳ１１０（図３）においてズレ量が式（１）の条件を満足しないと判断される場合には、ステップＳ１１４に進む。

ステップＳ１１４では、生成部２３６は、対象オブジェクト画像のみを用いる第２種の解像度変換処理を実行し、対象オブジェクト画像よりも高い解像度を有する高解像度オブジェクト画像（処理済み対象オブジェクト画像）を生成する。ステップＳ１１４における高解像度オブジェクト画像を構成する各画素の値の決定手法は、ステップＳ１１２において説明した手法と同様である。ただし、注目画素の値は、対象オブジェクト画像のみを用いて決定される。より具体的には、注目画素の値は、対象オブジェクト画像に含まれる４つの近傍画素の値を用いて、決定される。なお、ステップＳ１１４で生成される高解像度オブジェクト画像の解像度と、ステップＳ１１２で生成される高解像度オブジェクト画像の解像度とは、等しく設定されている。

なお、ステップＳ１１２，Ｓ１１４の解像度変換処理は、バイキュービック法や、バイリニア法、ニアレストネイバー法などの種々の手法を利用して実行可能である。

ステップＳ１１６では、ステップＳ１１２またはステップＳ１１４で生成された高解像度オブジェクト画像が外部記憶装置２５０に保存される。なお、前述のように、ステップＳ１０４〜Ｓ１１６の処理は、対象複合画像を構成するオブジェクト画像毎に実行される。

ステップＳ１１８では、対象複合画像として選択されていない複合画像が存在するか否かが判断される。存在する場合には、ステップＳ１０４に戻って、次に再生されるべき複合画像が対象複合画像として選択される。

このようにして、本実施例では、比較的低い解像度を有する動画像から、比較的高い解像度を有する処理済み動画像が生成される。そして、処理済み動画像を利用すれば、拡大された動画像を精細に表示することができる。

以上説明したように、本実施例では、対象複合画像内におけるオブジェクトの位置と参照複合画像内におけるオブジェクトの位置との間のズレ量に応じて、対象オブジェクト画像に対する解像度変換処理を変更することができる。具体的には、ズレ量が所定条件を満足する場合、換言すれば、２つのオブジェクト間に有意なズレが存在する場合には、対象オブジェクト画像と参照オブジェクト画像とを用いる第１種の解像度変換処理が実行される。一方、ズレ量が所定条件を満足しない場合、換言すれば、２つのオブジェクト間に有意なズレが存在しない場合には、対象オブジェクト画像のみを用いる第２種の解像度変換処理が実行される。このように、有意なズレの有無に応じて解像度変換処理における参照オブジェクト画像の利用の有無を変更すれば、有意なズレが存在する場合には、参照オブジェクト画像を効果的に用いて精細な処理済み対象オブジェクト画像を得ることができ、有意なズレが存在しない場合には、参照オブジェクト画像を用いずに迅速に処理済み対象オブジェクト画像を得ることができる。すなわち、対象オブジェクト画像に対して適切な解像度変換処理を実行することができる。

なお、２つのオブジェクト間に有意なズレが存在しない場合に、参照オブジェクト画像を用いる第１種の解像度変換処理を実行して得られる画像の精細度は、参照オブジェクト画像を用いない第２種の解像度変換処理を実行して得られる画像の精細度とほぼ同じである。すなわち、２つのオブジェクト間に有意なズレが存在しない場合には、参照オブジェクト画像を用いる第１種の解像度変換処理を実行しても、精細な処理済み対象オブジェクト画像を得るのは困難である。このため、本実施例では、２つのオブジェクト間に有意なズレが存在しない場合には、参照オブジェクト画像を用いない第２種の解像度変換処理が実行されている。すなわち、本実施例では、式（１）の条件を満足するか否かを判断することによって、参照オブジェクト画像を用いる第１種の解像度変換処理の実行が有効であるか否かがうまく判断されている。

Ｂ．第２実施例：
図７は、第２実施例における画像処理部２２２（図１）の処理手順を示すフローチャートである。図７は、図２とほぼ同じであるが、ステップＳ１０６Ｂ，Ｓ１０８Ｂ，Ｓ１１０Ｂ，Ｓ１１２Ｂが変更されている。具体的には、第１実施例では、１つの対象複合画像に対して、１つの参照複合画像のみが利用されているが、本実施例では、３つの参照複合画像が利用される。

ステップＳ１０６Ｂでは、動画像から３つの参照複合画像が選択され、３つの参照複合画像から３つの参照オブジェクト画像が選択される。例えば、ステップＳ１０４で、１番目の複合画像Ｐ１（図３）を構成する車を含むオブジェクト画像Ｐ１ｂが選択されると、ステップＳ１０６Ｂでは、２〜４番目の複合画像Ｐ２〜Ｐ４を構成する車を含む参照オブジェクト画像Ｐ２ｂ〜Ｐ４ｂが選択される。

ステップＳ１０８Ｂでは、３組のオブジェクト間のズレ量が検出される。具体的には、ステップＳ１０８と同様に、対象オブジェクト画像Ｐ１ｂ内における車の位置と、第１の参照オブジェクト画像Ｐ２ｂ内における車の位置と、の間の第１のズレ量が検出される。同様に、対象オブジェクト画像Ｐ１ｂと第２の参照オブジェクト画像Ｐ３ｂとを用いて第２のズレ量が検出され、対象オブジェクト画像Ｐ１ｂと第３の参照オブジェクト画像Ｐ４ｂとを用いて第３のズレ量が検出される。

ステップＳ１１０Ｂでは、３つのズレ量のうちの少なくとも１つが式（１）の条件を満足するか否かが判断される。少なくとも１つのズレ量が式（１）の条件を満足する場合には、ステップＳ１１２Ｂに進み、３つのズレ量のすべてが式（１）の条件を満足しない場合には、ステップＳ１１４に進む。

ステップＳ１１２Ｂでは、対象オブジェクト画像と対応参照オブジェクト画像とを用いる第１種の解像度変換処理が実行される。ここで、対応参照オブジェクト画像は、式（１）の条件を満足する特定のズレ量に対応する特定の参照オブジェクト画像を意味する。例えば、対象オブジェクト画像Ｐ１ｂと第３の参照オブジェクト画像Ｐ４ｂとを用いて検出された第３のズレ量が条件を満足する場合には、第３の参照オブジェクト画像は対応参照オブジェクト画像である。

なお、ステップＳ１１２Ｂが実行される場合には、対応参照オブジェクト画像は、少なくとも１つ存在する。以下では、３つのズレ量のすべてが式（１）の条件を満足した場合、換言すれば、対応参照オブジェクト画像が３つ存在する場合について説明する。

図８は、第２実施例における第１種の解像度変換処理による高解像度オブジェクト画像の作成手法を示す説明図である。図８は、図５とほぼ同じであるが、第２および第３の参照オブジェクト画像Ｐ３ｂ，Ｐ４ｂを構成する複数の画素の中心点（格子点）が追加されている。

高解像度オブジェクト画像ＱＰ１ｂ’を構成する注目画素Ｇａの値を決定する際には、まず、４つのオブジェクト画像Ｐ１ｂ〜Ｐ４ｂに含まれる複数の格子点のうち、注目格子点Ｇａに最も近い最近傍格子点が選択される。図８では、格子点Ｂ４ａが最近傍格子点である。次に、４つのオブジェクト画像Ｐ１ｂ〜Ｐ４ｂのうち、最近傍格子点Ｂ４ａが属する第３の参照オブジェクト画像Ｐ４ｂを用いて、注目画素Ｇａの値が決定される。具体的には、注目画素Ｇａの値は、第３の参照オブジェクト画像Ｐ４ｂに含まれる４つの近傍画素Ｂ４ａ〜Ｂ４ｄの値を用いて決定される。なお、注目画素Ｇａの値の算出手法は、第１実施例（図５）と同様である。

上記のように、対象オブジェクト画像と複数の参照オブジェクト画像とを用いて、高解像度オブジェクト画像を構成するすべての画素の値を求めることによって、さらに精細な高解像度オブジェクト画像ＱＰ１ｂ’が生成される。

なお、本実施例では、注目画素Ｇａの値は、注目格子点に最も近い最近傍格子点Ｂ４ａが属する１つの参照オブジェクト画像Ｐ４ｂのみを用いて決定されているが、対応参照オブジェクト画像が複数存在する場合には、２以上の参照オブジェクト画像を用いて決定されてもよい。例えば、図８において、注目画素Ｇａの値は、注目格子点Ｇａからの距離がＤｔ以内の範囲に存在する２つの格子点Ｂ２ａ，Ｂ４ａが属する２つの参照オブジェクト画像Ｐ２ｂ，Ｐ４ｂを用いて、決定されてもよい。この場合には、第１の参照オブジェクト画像Ｐ２ｂ内の４つの近傍画素Ｂ２ａ〜Ｂ２ｄの値を用いて注目画素Ｇａの第１の参考値が決定されると共に、第３の参照オブジェクト画像Ｐ４ｂ内の４つの近傍画素Ｂ４ａ〜Ｂ４ｄの値を用いて注目画素Ｇａの第２の参考値が決定される。そして、第１および第２の参考値の平均値が、注目画素Ｇａの値として決定される。このようにしても、注目画素Ｇａの値を適切に求めることができる。

以上説明したように、本実施例では、複数の参照複合画像に含まれる複数の参照オブジェクト画像が選択されている。このため、第１の解像度変換処理を実行する際に、１つの参照オブジェクト画像のみから最近傍格子点が選択される第１実施例と比較して、複数の対応参照オブジェクト画像から注目格子点により近い最近傍格子点を選択することができる。このため、注目画素Ｇａの値をより適切に求めることができる。したがって、より精細な処理済み対象オブジェクト画像を生成することができ、この結果、拡大された動画像をより精細に表示することが可能となる。

なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能であり、例えば次のような変形も可能である。

（１）上記実施例では、参照複合画像は、対象複合画像の後に連続して再生されるべき複合画像に設定されているが、これに代えて、対象複合画像の再生から一定期間経過後に再生される複合画像に設定されていてもよい。また、参照複合画像は、対象複合画像よりも前に再生される複合画像に設定されていてもよい。

（２）上記実施例では、ズレ量が所定条件を満足するか否かを判断する際に、並進方向のズレ量ｄｘ，ｄｙが利用されているが、これに代えて、あるいは、これと共に、回転方向のズレ量ｄθが利用されてもよい。

この場合には、回転方向のズレ量ｄθが例えばｄθ＞ｔａｎ^-1（１／Ｈ）を満足するときに、第１種の解像度変換処理が実行されればよい。ここで、Ｈは、対象オブジェクト画像内に表されるオブジェクトの水平方向の画素数である。

一般には、対象複合画像内における特定オブジェクトと、参照複合画像内における特定オブジェクトと、の間のズレ量に応じて、第１種の解像度変換処理と第２種の解像度変換処理とが変更されればよい。

（３）上記実施例では、高解像度オブジェクト画像を構成する注目画素の値は、１つのオブジェクト画像に含まれる４つの近傍画素の値を用いて決定されているが、これに代えて、より多数の画素の値を用いて決定されてもよいし、より少数の画素の値を用いて決定されてもよい。

（４）上記実施例では、図３に示すように、複数種のオブジェクト画像のそれぞれは、複合画像と同様に、矩形形状を有しているが、一部のオブジェクト画像（例えば、車）は、任意形状を有していてもよい。この場合には、動画像データには、通常、オブジェクトの動きの大きさと向きとを示す動きベクトルが含まれている。したがって、この場合には、動画像データに含まれる動きベクトルをズレ量として用いて、第１種の解像度変換処理と第２種の解像度変換処理とが変更されればよい。

（５）上記実施例では、比較的低い解像度を有する動画像から、比較的高い解像度を有する動画像が生成されているが、これに代えて、比較的高い解像度を有する１以上の静止画像が生成されてもよい。この場合には、ユーザによって選択された動画像内の１つの複合画像に対して、解像度変換処理が実行されればよい。こうすれば、１つの処理済み静止画像のみを迅速に得ることができる。なお、得られた処理済み静止画像は、該処理済み静止画像を印刷する場合に、利用可能である。

また、上記実施例では、比較的低い解像度を有する動画像から、比較的高い解像度を有する動画像が生成されているが、これに代えて、比較的高い解像度を有する１以上のオブジェクト動画像が生成されてもよい。この場合には、ユーザによって選択された動画像内の特定のオブジェクトを表すオブジェクト画像群に対して、解像度変換処理が実行されればよい。こうすれば、特定のオブジェクトを表す処理済みオブジェクト動画像のみを迅速に得ることができる。なお、得られた処理済みオブジェクト動画像は、該処理済みオブジェクト動画像を他の動画像と合成する場合に、利用可能である。

（６）上記実施例では、動画像が複数のフレーム画像で構成されており、各フレーム画像が複数のフレームオブジェクト画像で構成されていると仮定して説明した。しかしながら、動画像は、複数のフィールド画像で構成され、各フィールド画像が複数のフィールドオブジェクト画像で構成される場合もある。この場合には、連続する２つのフィールド画像によって形成されるフレーム画像が、本発明における複合画像に相当し、連続する２つのフィールドオブジェクト画像によって形成されるフレームオブジェクト画像が、本発明におけるオブジェクト画像に相当する。

なお、フィールド形式の動画像が利用される場合には、連続する２つのフィールドオブジェクト画像に対してＩＰ変換（インタレース−プログレッシブ変換）が施された後に、解像度変換処理が実行される。解像度変換処理に先立って、ＩＰ変換済みのフレーム画像に対して鮮鋭化処理やノイズ除去処理などが施されることが好ましい。

第１実施例における画像処理システムを示す説明図である。 画像処理部２２２（図１）の処理手順を示すフローチャートである。 動画像データの構成を模式的に示す説明図である。 ズレ量の決定手法を示す説明図である。 第１種の解像度変換処理による高解像度オブジェクト画像の作成手法を示す説明図である。 注目画素Ｇａの値の算出手法を示す説明図である。 第２実施例における画像処理部２２２（図１）の処理手順を示すフローチャートである。 第２実施例における第１種の解像度変換処理による高解像度オブジェクト画像の作成手法を示す説明図である。

符号の説明

２００…パーソナルコンピュータ
２１０…ＣＰＵ
２２０…内部記憶装置
２２２…画像処理部
２２４…印刷データ生成部
２３０…解像度変換部
２３２…選択部
２３４…検出部
２３６…生成部
２５０…外部記憶装置
２６０…表示部
２７０…操作部
２９０…Ｉ／Ｆ部
３１０…デジタルビデオカメラ
３２０…プリンタ
Ｐ１〜Ｐ６…複合画像
Ｐ１ａ〜Ｐ６ａ…オブジェクト画像
Ｐ１ｂ〜Ｐ６ｂ…オブジェクト画像
Ｐ１ｃ〜Ｐ６ｃ…オブジェクト画像
ＱＰ１ｂ…高解像度オブジェクト画像

Claims (11)

1. 画像処理装置であって、
   複数種のオブジェクト画像をそれぞれ含む複数の複合画像から、対象複合画像に含まれて特定のオブジェクトを表す対象オブジェクト画像と、参照複合画像に含まれて前記特定のオブジェクトを表す参照オブジェクト画像と、を選択する選択部と、
   前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間のズレ量を検出する検出部と、
   前記ズレ量に応じた解像度変換処理を実行することによって、前記対象オブジェクト画像の解像度よりも高い解像度を有する処理済み対象オブジェクト画像を生成する生成部と、
   を備え、
   前記生成部は、
   前記ズレ量が所定条件を満足する場合には、前記対象オブジェクト画像と前記参照オブジェクト画像とを用いる第１種の解像度変換処理を実行し、
   前記ズレ量が前記所定条件を満足しない場合には、前記対象オブジェクト画像のみを用いる第２種の解像度変換処理を実行することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記第１種の解像度変換処理は、
   前記対象複合画像内における前記特定オブジェクトと、前記参照複合画像内における前記特定オブジェクトと、の間の回転方向のズレを含む位置ズレが小さくなるように、前記対象オブジェクト画像と前記参照オブジェクト画像との位置合わせが実行された状態で、前記対象オブジェクト画像と前記参照オブジェクト画像とを用いて、前記処理済み対象オブジェクト画像を生成する処理を含む、画像処理装置。
3. 請求項１または２記載の画像処理装置であって、
   前記選択部は、複数の前記参照複合画像に含まれる複数の前記参照オブジェクト画像を選択し、
   前記検出部は、複数の前記ズレ量であって、前記各ズレ量は前記対象複合画像内における前記特定オブジェクトの位置と前記各参照複合画像における前記特定オブジェクトの位置との間のズレ量である、前記複数のズレ量を検出し、
   前記生成部は、
   前記複数のズレ量のうちの少なくとも１つが前記所定条件を満足する場合には、前記対象オブジェクト画像と、前記複数の参照複合画像のうちの前記所定条件を満足する前記少なくとも１つのズレ量に対応する少なくとも１つの対応参照複合画像と、を用いて、前記第１種の解像度変換処理を実行し、
   前記複数のズレ量のうちのいずれも前記所定条件を満足しない場合には、前記第２種の解像度変換処理を実行する、画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置であって、
   前記ズレ量は、前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間の並進方向のズレ量を含む、画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記所定条件は、前記並進方向のズレ量の単位画素サイズ未満の値が、単位画素サイズの約０．１倍から約０．９倍の範囲内の値であることである、画像処理装置。
6. 請求項１ないし５のいずれかに記載の画像処理装置であって、
   前記ズレ量は、前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間の回転方向のズレ量を含む、画像処理装置。
7. 請求項１ないし６のいずれかに記載の画像処理装置であって、
   前記複数種のオブジェクト画像のそれぞれは、前記対象オブジェクト画像として選択され、
   前記ズレ量は、前記複数種のオブジェクト画像のそれぞれに対して検出され、
   前記処理済み対象オブジェクト画像は、前記複数種のオブジェクト画像のそれぞれに対して生成される、画像処理装置。
8. 請求項１ないし７のいずれかに記載の画像処理装置であって、
   前記複数の複合画像のそれぞれに含まれて前記特定オブジェクトを表す特定種のオブジェクト画像は、前記対象オブジェクト画像として順次選択され、
   前記ズレ量は、前記複数の複合画像のそれぞれに含まれる前記特定種のオブジェクト画像に対して順次検出され、
   前記処理済み対象オブジェクト画像は、前記複数の複合画像のそれぞれに含まれる前記特定種のオブジェクト画像に対して順次生成される、画像処理装置。
9. 画像処理方法であって、
   （ａ）複数種のオブジェクト画像をそれぞれ含む複数の複合画像から、対象複合画像に含まれて特定のオブジェクトを表す対象オブジェクト画像と、参照複合画像に含まれて前記特定のオブジェクトを表す参照オブジェクト画像と、を選択する工程と、
   （ｂ）前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間のズレ量を検出する工程と、
   （ｃ）前記ズレ量に応じた解像度変換処理を実行することによって、前記対象オブジェクト画像の解像度よりも高い解像度を有する処理済み対象オブジェクト画像を生成する工程と、
   を備え、
   前記工程（ｃ）は、
   前記ズレ量が所定条件を満足する場合には、前記対象オブジェクト画像と前記参照オブジェクト画像とを用いる第１種の解像度変換処理を実行し、
   前記ズレ量が前記所定条件を満足しない場合には、前記対象オブジェクト画像のみを用いる第２種の解像度変換処理を実行する工程を含むことを特徴とする画像処理方法。
10. コンピュータに画像処理を実行させるためのコンピュータプログラムであって、
    複数種のオブジェクト画像をそれぞれ含む複数の複合画像から、対象複合画像に含まれて特定のオブジェクトを表す対象オブジェクト画像と、参照複合画像に含まれて前記特定のオブジェクトを表す参照オブジェクト画像と、を選択する機能と、
    前記対象複合画像内における前記特定オブジェクトの位置と、前記参照複合画像内における前記特定オブジェクトの位置と、の間のズレ量を検出する機能と、
    前記ズレ量に応じた解像度変換処理を実行することによって、前記対象オブジェクト画像の解像度よりも高い解像度を有する処理済み対象オブジェクト画像を生成する機能と、
    を前記コンピュータに実現させ、
    前記生成機能は、
    前記ズレ量が所定条件を満足する場合には、前記対象オブジェクト画像と前記参照オブジェクト画像とを用いる第１種の解像度変換処理を実行し、
    前記ズレ量が前記所定条件を満足しない場合には、前記対象オブジェクト画像のみを用いる第２種の解像度変換処理を実行する機能を含むことを特徴とするコンピュータプログラム。
11. 請求項１０記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images