WO2005046221A1

WO2005046221A1 - 画像処理装置、画像処理方法、そのプログラムおよび記録媒体

Info

Publication number: WO2005046221A1
Application number: PCT/JP2004/017128
Authority: WO
Inventors: Seiji Aiso
Original assignee: Seiko Epson Corporation
Priority date: 2003-11-11
Filing date: 2004-11-11
Publication date: 2005-05-19
Also published as: US7961985B2; JPWO2005046221A1; EP1684506A1; US20070133901A1; JP4325625B2; US20100232703A1; US7738731B2; EP1684506A4; CN1879401A; CN100440944C

Abstract

　複数の画像から画素密度の高い静止画像を生成する画像処理装置であって、前記静止画像の生成に用いる複数の画像を抽出する画像抽出手段と、前記抽出した複数の画像間のずれ量を検出するずれ量検出手段と、前記検出したずれ量が所定の閾値を超える画像を前記抽出した複数の画像の中から除外する除外手段と、前記除外された画像以外の複数の画像を合成して一の静止画像を生成する画像合成手段とを備えた画像処理装置とする。　複数の画像から一の静止画像を生成する際に、効率的に画像処理を実行することができる。

Description

明細書

画像処理装置、画像処理方法、そのプログラムおよび記録媒体技術分野

本発明は、複数の画像を利用して一の静止画像を生成する画像処理装置，画像処理方法およびコンピュータプログラム，記録媒体に関する。背景技術

従来から、複数の画像を合成して一枚の高解像度の画像を生成する画像処理装置および画像処理方法がある。例えば、デジタルビデ才力メラで撮影された動画像から 1シーンを決定し、決定した 1フレームの画像よりも高解像度（高い画素密度）の静止画像を生成する技術が知られている。この技術では、連続する（n + 1 ) 枚のフレーム画像から 1枚のフレーム画像を基準画像として選択し、この基準画像に対する他の n枚のフレーム画像（対象画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（n + 1 ) 枚のフレーム画像を合成して静止画像を生成している（例えば、特開 2 0 0 0— 2 4 4 8 5 1号公報参照）。こうした画像の合成処理方法は、単に 1フレーム画像を解像度変換する方法に比ベ、画像を高画質、鮮明なものとすることができるとされている。発明の開示

しかしながら、こうした画像処理技術では、画像の合成処理に時間を費やしても、常に高解像度の静止画像を生成できるとは限らないという問題があった。例えば、静止画像を生成する際に使用する一のフレーム画像自体にブレが含まれているような場合には、それを用いて画像の合成処理を実行しても、時間をかけた割には、満足のいく静止画像が得られない。本発明は、こうした問題を解決し、複数の画像から一の高解像度の画像を生成する際に、効率的な画像処理を実行することを目的とする。本発明の第 1の画像処理装置は、上記課題の少なくとも一部を解決するため、以下の手法を採った。すなわち、複数の画像から画素密度の高い静止画像を生成する画像処理装置であって、前記静止画像の生成に用いる複数の画像を抽出する画像抽出手段と、前記抽出した複数の画像間のずれ量を検出するずれ量検出手段と、前記検出したずれ量に基づいて、前記抽出した複数の画像の中から 2以上の画像を特定する特定手段と、前記特定された 2以上の画像を合成して一の静止画像を生成する画像合成手段とを備えたことを要旨としている。また、本発明の第〗の画像処理方法は、複数の画像から画素密度の高い静止画像を生成する画像処理方法であって、前記静止画像の生成に用いる複数の画像を抽出し、前記抽出した複数の画像間のずれ量を検出し、前記検出したずれ量に基づいて、前記抽出した複数の画像の中から 2以上の画像を特定し、前記特定された 2以外の画像を合成して一の静止画像を生成することを要旨としている。第 1の画像処理装置および画像処理方法（第 1の画像処理という）によれば、複数の画像間のずれ量を検出し、そのずれ量に基づいて、 2以上の画像を、画像の合成処理に先立って、特定する。つまり、画像の合成に供される 2以上の画像は、画像間のずれ量に基づいて特定されていることになり、画像合成の処理を効率的に行なうことができる。上記画像処理では、前記一の静止画像の合成の基準となる画像を指定する構成を備え、該指定された画像に対して、予め閧連付けられた順序に従って、複数の画像を抽出するものとしても良い。かかる画像処理によれば、画素密度の高い静止画像の合成に用いようとする複数の画像の抽出は、指定された画像を基準として予め関連付けられた順序で行なわれる。合成に用いようとする複数の画像は、一の画像を指定することで自動的に抽出される。したがって、合成に用いようとする複数の画像を全て指定する必要がなく、画像の合成処理操作を容易なものとすることができる。上記画像処理において、複数の画像は、時系列に連続する複数の画像であり、前記関連付けられた順序は、前記指定された画像から連続する時系列順であるものとしても良い。複数の画像の抽出は、指定された画像を中心として時系列で前後方向に交互の順序や、時系歹 ϋで一つ置きの順序など、様々な態様が考えられるが、指定された画像から時系歹 ijで連続する順に画像を抽出することで、画像の抽出処理を簡素なものとすることができる。上記画像処理では、一の静 ih画像の生成に先立って、前記画像の合成に用いる画像枚数を表示するものとしても良い。かかる画像処理によれば、画像の合成処理に使用する画像枚数をユーザが容易に認識することができる。なお、この画像枚数に加えて、あるいはこの画像枚数に代えて、合成に用いないとした画像の枚数を表示するものとしても良い。上記画像処理において、特定された 2以外の画像が所定の枚数に達しない場合には、警告を表示するものとしても良い。また、特定された 2以上の画像の枚数が所定の枚数に達しない場合には、前記画像の合成を実行するか否かを選択するものとしても良い。かかる画像処理によれば、画像の合成処理に使用する画像枚数が所定枚数に達しない結果、生成される一の静止画像の効果的な鮮明化が期待できない旨を予めユーザに警告すること； ^できる。また、所定枚数に達しない状態での合成処理を実行するか否かを、ユーザに選択させることができる。上記画像処理において、特定された 2以上の画像の枚数が所定の枚数に達しない場合には、前記画像の合成を中止するものとしても良い。かかる画像処理によれば、ある画像が閾値を超えるため除外された結果、合成に用いる画像が 2枚以上、 3枚以上といった任意に設定した所定枚数に達しない場合には、合成処理自体を中止する。したがって、画素密度の高い静止画像を期待できない場合には、処理時間のかかる合成処理を行なうことなく、早い段階で合成処理を中止することができる。例えば、所定枚数の設定により、検出した画像間のずれ量が予め定めた閾値を超えるものが一つでもある場合には、即座に合成処理を中止するものとすることができる。

また、 2以上の画像を特定するに際しては、検出されたずれ量が所定の閾値を超える画像を前記抽出した複数の画像から除外するものとし、こうして除外された画像以外の画像を、前記 2以上の画像として特定するものとしても良い。検出したずれ量と所定の閾 ί直との大小を判断すれば、画像合成に用いにくい画像を容易に見出すことができるからである。上記画像処理おいて検出したずれ量は、画像間の並進方向の並進ずれ量および /または回転方向の回転ずれ量とすることができ、この並進ずれ量およびまたは回転ずれ量が所定の閾値を超える画像を除外するものとしても良 t 上記画像処理において、所定の閾値は、特定の値として設定しても良いし、合成しようとする画像の画素数に対して所定の割合として定めることも可能である。例えば縦横の画素数の数％から 1 0 %として定めても良い。もとより、固定値としても良い。例えば、並進ずれ量の場合には、判断する所定の閾値は、 ± 1 6画素程度とし、回転ずれの場合には、判断する所定の閾値は、 ± 1 ° 程度としても良い。かかる画像処理によれば、画像間の並進ずれ量が ± 1 6画素およびノまたは回転ずれ量が ± 1 ° 、を超える画像は、画像の合成対象から除外され、または合成処理を中止する。例えば、時系列で連続する画像間の並進ずれ量がこの閾値を超える場合には、合成対象の画像自体にブレが含まれている可能がある。したがって、この閾値により判断することで、合成に貢献する可能性の低い画像を予め除外して合成処理を行なうことができ、または、合成処理を中止することがでさる。上記画像処理に使用する複数の画像は、動画像に含まれる複数のフレーム画像であるものとしても良い。通常、低解像度である複数のフレーム画像を合成して、一の高解像度の静止画像を生成する場合に特に有効である。上記画像処理に使用する複数の画像は、撮影時の撮影対象の明るさによって変化する露光時間の情報を有する複数の静止画像とすることができ、露光時間に基づいて、前記静止画像毎に前記所定の閾値を設定するものとしても良い。かかる画像処理によれば、备静止画像が有する撮影時の露光時間の情報から、各静止画像毎に画像間のずれ量に対する閾値を設定する。つまり、ずれ量を検出する対象となる 2つの画像の撮影時間間隔と露光時間との時間比率から、一の静止画像の露光時間内における許容ずれ量を検討し、閾値を設定する。こうすることで、一律に固定された閾値ではなく、各静止画像に対応した閾値を適応的に設定することができる。本発明は、コンピュータプログラムプロダク卜およびコンピュータプログラムを記録した媒体としても実装することができる。図面の簡単な説明

図 1は、本発明の第 1実施例としての画像処理システムを示す説明図である。図 2は、第 1実施例の画像処理のフローチャートである。

図 3は、 2つの画像の位置ずれを示す説明図である。

図 4は、勾配法による並進ずれ量の算出方法を示す説明図である。

図 5は、画素の回転ずれ量を模式的に示す説明図である。

図 6は、画像のずれ量と鮮明化に貢献する範囲との関係の説明図である。図 7は、第 2実施例の画像処理のフローチヤ一卜である。

図 8は、第 2実施例におけるずれ量検出手順の説明図である。

図 9は、第 3実施例の画像処理のフローチヤ一卜である。

図 1 0は、静止画像の撮影周期と露光時間の関係の説明図である。発明を実施するための最良の形態

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。 A . 第 1実施例：

A 1 . 画像処理装置の構成

A 2 . 画像処理 A 3 . ずれ量の検出

A 4 . 閾値の設定

B . 第 2実施例：

B 1 . 画像処理

C . 第 3実施例：

C 1 . 画像処理装置の構成

C 2 . 画像処理

C 3 . 閾値の設定 A . 第 1実施例：

A 1 . 画像処理装置の構成：

図 1は、本発明の第 1実施例としての画像処理システム 1 0 0を示す説明図である。図示するように、この画像処理システム 1 0 0は、動画像や静止画像などの画像データを供給する画像データベース 2 0、画像データベース 2 0から入力した複数の画像に対して画像処理を実行する画像処理装置としてのパーソナルコンピュー夕 3 0、画像処理の実行をユーザが指示するためのユーザインターフエース 4 0、画像処理を施した画像を出力するカラープリン夕 5 0等から構成されている。画像デ一夕ベース 2 0は、デジタルビデ才力メラ 2 1，デジタルスチルカメラ 2 2， D V D 2 3 , ハードディスク 2 4などの画像を取り扱う機器を有し、パーソナルコンピュータ 3 0へ画像データを供給する。なお、第 1実施例の画像デー夕デース 2 0に保有される画像データは、デジタルビデ才力メラ 2 1で取得した動画像データである。以下、本実施例の画像処理にて取り扱う画像データをフレー厶画像と呼ぶ。このフレー厶画像は、時系列的に連続して配置された複数枚の画像であり、動画像を構成する一部であるパーソナルコンピュータ 3 0は、画像処理を実行する C P U 3 1、 R O M 3 2、 R A M 3 3、画像処理のソフ卜ウェアをインストールするハードディスク 3 4、画像データベース 2 0，ュ一ザイン夕一フェース 4 0やカラ一プリンタ 5 0などの外部機器とやり取りするための I Z F回路 3 5等を有している。ハードデイスク 3 4にインス I ^一ルされたソフトウェアの画像処理は、入力した複数枚のフレー厶画像を合成して一枚の高解像度の静止画像を生成する処理である。このソフ卜ウェアをインストールしたパーソナルコンピュータ 3 0は、画像処理装置としての「画像抽出手段」，「ずれ量検出手段」，「除外手段」，「画像合成手段」の各機能を有する。なお、この画像処理の流れについては、後に詳しく説明する。ユーザインターフェース 4 0は、ユーザが画像処理の実行操作を行なうためのキーボード 4 1やマウス 4 2、画像処理を実行する前のフレーム画像や合成処理後の静止画像を表示するディスプレイ 4 3などを備えている。

A 2 . 画像処理：

図 2は、複数枚の画像データを合成して一の静止画像を生成する第 1実施例の画像処理のフローチヤ一卜である。上述のハード構成を有する画像処理システム 1 0 0において、ユーザがキーボード 4 1を操作することで、パーソナルコンビュ一夕 3 0にインストールされた画像処理が開始される。画像処理が開始すると、 /\°一ソナルコンピュータ 3 0は、画像データベース 2 0からフレーム画像データの集合である動画像データを入力し、これをディスプレイ 4 3上で再生する。ユーザは、静止画像として出力を所望する一シーンで再生画像の一時停止の操作を行ない、そのシーン（フレーム画像）を指定する（ステツプ S 2 0 0 ) 。パーソナルコンピュータ 3 0は、指定されたフレーム画像から時系列順に、画像処理に使用するフレーム画像を抽出する（ステップ S 2 1 0 ) 。本実施例では、フレーム画像の指定の操作タイミングから時系列的に連続する 4枚のフレーム画像を入力するものとした。以下、この 4枚のフレーム画像の内、ユーザが指定したもの（つまり、時系列で最初のもの）を参照フレーム画像 F 1 と呼び、それ以外のものを対象フレーム画像（F 2〜F 4 ) と呼ぶ。なお、抽出するフレーム画像の数はユーザが任意に設定できるものとしても良い。パーソナルコンピュータ 3 0は、こうして指定 ·抽出された 4枚のフレーム画像同士のフレーム画像間のずれ量を検出する（ステップ S 2 2 0 ) 。ここで検出するずれ量とは、図 3に示すように、 2つの画像の「位置のずれ」であり、並進方向のずれを表す並進ずれ量 u， Vと、回転方向のずれを表す回転ずれ量 δとの 3つの要素で表現されるものである。パーソナルコンピュータ 3 0は、参照フレー厶画像 F l ， 3枚の ¾f象フレーム画像（F 2 ~ F 4 ) のそれぞれとの間でずれ量（u， ν， δ ) を検出する。なお、ずれ量の検出方法については、後述する。パーソナルコンピュータ 3 0は、時系列で隣接するフレーム画像間のずれ量が所定の範囲（閾値）にあるか否かの判断を行なう。例えば、対象フレーム画像 F 2と対象フレーム画像 F 3との間のずれ量が閾値を超えるほど大きい場合には、意識的にデジタルビデ才力メラ 2 1を動かした速いパンであると推定でき、対象フレーム画像 F 3自体にブレが生じている可能性が高い。パーソナルコンビュ一夕 3 0は、判断の結果、ブレが生じている可能性のある対象フレーム画像 F 3を合成の対象から排除する処理を行なう（ステップ S 2 3 0 ) 。なお、本実施例では、並進ずれ量 u， Vについて下限値の閾値を設け、全てのフレーム画像間の並進ずれ量 u， Vについての判断を行なっている。例えば、隣接する対象フレーム画像 F 2と対象フレーム画像 F 3とのずれ量、対象フレーム画像 F 3と対象フレーム画像 F 4とのずれ量は、それぞれ所定の範囲内である場合でも、対象フレーム画像 F 2と対象フレーム画像 F 4とが同一の画像であり、画像の合成に同じ対象フレーム画像を用いる必要性がない場合がある。つまり、ほとんどずれのないフレーム画像（同一の画像）であるため、画像の合成処理にはどちらか一方を使用すれば足りる。本実施例では、フレーム画像間の並進ずれ量 u， Vに対して 0 . Ί画素の閾 <直を設け、検出したずれ量 u， Vが 0 . 1画素以下である場合には、合成の対象^^ら除外している。パーソナルコンピュータ 3 0は、除外されずに残った対象フレーム画像と参照フレーム画像 F 1とを用いて、画像の合成処理を行なう（ステップ S 2 4 0 ) 。具体的には、参照フレーム画像 F 1 に位置のずれを補正した対象フレーム画像

(例えば対象フレーム画像 F 2 ) を重ね合わせ、両者の各画素の階調値に基づいて、合成画像の各画素の階調値を決定する。合成画像の各画素の階調値は、周知のバイリニア法を用いている。なお、バイリニア法に替えて、二アレス卜ネイバ法やバイキュービック法など、他の周知の方法を用いる事としても良い。このバィリニア法を用いた合成処理を、 j噴次実行し、 1枚の静止画像を生成する。なお、本実施例では、所定の閾直に基づいて対象フレーム画像を除外した結果、合成処理に使用する対象フレー厶画像の数が減っても、そのまま合成処理を実行するものとしている。この場合に、パーソナルコンピュータ 3 0は、画像の合成に使用した数をディスプレイ 4 3に表示するが、合成処理の実行に先立って、合成に使用する画像枚数を表示するものとしても良い。また、画像データベース 2 0から更に時系列で連続するフレーム画像（5枚目）を対象フレーム画像として抽出し、ステップ S 2 2 0からの処理を繰り返し、合成処理に使用する対象フレー厶画像の数を常に一定に保つものとしても良い。さらに、参照フレーム画像 F 1より時系列で前のフレーム画像を抽出するものとしても良い。パーソナルコンピュータ 3 0は、こうして合成された静止画像をディスプレイ 4 3上の所定の位置に表示すると共に、この処理を終了する。ユーザは、好みに応じて、この静止画像をカラープリンタ 2 0やハードディスク 3 4などに出力する操作を行なう。この一連の画像処理では、対象フレーム画像自体にブレが含まれる画像や、ほとんど参照フレーム画像 F 1と同じ対象フレーム画像などの合成した画像の高解像度化、鮮明化に貢献しない対象フレーム画像を予め除外する。したがって、効率的な画像処理を行なうことができる。

A 3 . ずれ量の検出

上述の図 3に示したように、参照フレーム画像 F 1 と対象フレーム画像 F 2との位置のずれは、 3つのノ \°ラメ一夕（u， v， 6 ) によって表される。ここで、参照フレーム画像 F 1は、画像中心を原点とし、横方向を X 1軸，縦方向を y 1 軸とする直行座標系（X 1， y 1 ) を有し、対象フレーム画像 F 2は、画像中心を原点とし、横方向を X 2軸、縦方向を y 2軸とする直行座標系（x 2， y 2 ) を有するものとする。図 3は、対象フレーム画像 F 2が、参照フレーム画像 F 1 に対して、横方向に u，縦方向に v，対象フレーム画像の中心に対する回転方向 δのずれを生じている場合を示している。本実施例では、フレーム画像間のずれ量を求めるのに、フレーム画像間の各画素の輝度を用いて 1画素よりも細かい単位で画素の位置を推定する勾配法を用いた。図 4は、この勾配法による並進ずれ量の算出方法を示す説明図である。図 4 の（a) (c) には、各画像上の画素の輝度を示し、図 4の（b) (d) には、勾配法の原理を示した。ここで、（X 1 i , y 1 i ) は、参照フレーム画像 F 1 上の一の画素の座標を示し、 B l (x 1 i , y 1 i ) は、その画素の輝度を表している。なお、ここでは、対象フレーム画像 F 2上の座標（x 2 i， y 2 i ) の画素が、参照フレーム画像 F 1上の座標（x 1 i〜x l i + l， y 1 i ~y 1 i + 1 ) の間にあるものとし、その座標を（χ Ί i +Δχ, y 1 i +Δ y) とする。図 4 (b) (d) に示すように、対象フレーム画像 F 2における座標（x 2 i， y 2 i ) の画素が、参照フレーム画像 F 1上の座標（x 1 i +Δ X , y λ i ) にあるものとし、

P X = B 1 (x 1 i + 1 , y 1 i ) - B 1 (x 1 i， y 1 i ) ■ ■ · (1 ) とすると、

P x ■ Δ x = B 2 (x 2 i , y 2 i ) - B 1 (x 1 i , y 1 i ) ■ ■ ■

(2)

が成り立つ。この場合、 B 1 (x 1 i ， y 1 i ) および B 2 (x 2 i , y 2 i ) を単に B 1 , B 2と置くと、

{P x ■ Δ x— ( B 2— B 1 ) }² = 0 ■ ■ ■ (3)

を満たす△ xを求めれば、対象フレーム画像 F 2の X軸方向の並進ずれ量を求めることができる。実際には、各画素 ίこついて Δχを算出し、平均をとることとなる。同様にして、対象フレーム画像 F 2における座標（x 2 i， y 2 i ) の画素が、参照フレーム画像 F 1上の座標（x 1 i , y 1 i +Δ y) にあるものとし、

P y = B 1 (x 1 i， 1 i + 1 ) - B 1 (x 1 i , y 1 i ) ■ · ■ (4) とすると、

P y ■ Δ y = B 2 ( x 2 i , y 2 i ) - B 1 ( x 1 i , y 1 i ) · ■ ■

(5)

が成り立つ。この場合、 B 1 (x 1 i , y 1 i ) および B 2 (x 2 i， y 2 i ) を単に B 1 , B 2と置くと、

{P y · Δ γ - (Β 2 - Β 1 ) } ² = 0 ■ · ■ (6)

を満たす A yを求めれば、対象フレーム画像 F 2の y軸方向の並進ずれ量を求めることができる。実際には、各画素について△ yを算出し、平均をとることとなる。上記式（3) は X軸方向のみを、上記式（6)は y軸方向のみを考慮した場合であるため、これを X軸方向、 y軸方向の両方向について拡張すると、

S ² =∑ {P X · △ X + P y ■ △ y— （B 2— B 1 ) } ² ■ ■ ■ (7) を最小とする Δ χ， A yを最小自乗法により求めれば良いこととなる。こうして求められた Δ χ， A yが並進ずれ量 u， Vに相当する。以上は、フレーム画像間において、単に並進ずれのみがある場合についての計算であるが、加えて、回転す'れ量 δを考慮したずれ量の算出方法について説明する。図 5は、画素の回転ずれ量を模式的に示す説明図である。図示するように、参照フレーム画像 F 1の座標（X 1， y 1 ) の原点 0からの距離を r、 X 1軸からの回転角度を 0とすると、 r、 0は以下の式により求められる。なお、図 5では、説明を簡単にするためフレーム画像中心を原点 oとし、画像が回転しているものとして説明する。

r = (x² + y ² ) ^1/2 · ■ ■ (8)

θ = tan¹ ( χ Ζ y ) · ■ · ( 9 ) ここで、原点 Oを中心として、対象フレーム画像の座標（X 1， 1 ) を角度 <5だけ回転させたときに、対象フレーム画像の座標（x 2， y 2) と一致するものとする。この回転による X軸方向の移動量△ Xと y軸方向の移動量△ yは、以下の式により求められる。なお、回転ずれ量は微小量であるとして、 cos <5 = 1、 sin δ = δの近似式を用いている。

A x = x 2— x 1 =— r - S ' sin S =_ 3 ' y 1 ■ · · ( 1 0)

A y = y 2 - y 1 = r - δ · cos δ = δ - χ ΐ · · ■ ( 1 1 ) そこで、上記式（7) における、 Δ χ， A yを、並進ずれ量 u， Vに回転ずれ量 δを加味して表すと、以下の式となる。

Δ x = u - - y 1 ■ ■ ■ ( 1 2)

Δ y = v + δ - χ 1 ■ · · ( 1 3)

これらを上記式（7) に代入すると、以下の一般式が得られる。

S ² =∑ (Ρ X - (u - <5 ■ y ) + P y · (v + <5 - x) - (Β 2 - Β 1 ) } ² ■ · · ( 1 4) すなわち、上記式（1 4) の S ² を最小とする u， V , δを最小自乗法によつて求めることにより、フレーム画像間の 1画素未満のずれ量を精度良く検出することができる。なお、本実施例では、勾配法により、ずれ量を算出したが、プロックマッチング法や反復勾配法，これらを組み合わせた手法などを用いて算出するものとしても良い。 A 4 . 閾値の設定：

上述のように検出されたずれ量（ u， ν， δ ) に対し、画像の高解像度化、鮮明化に貢献する範囲（閾値）の設定について説明する。図 6は、画像のずれ量と鮮明化に貢献する範囲との関係の説明図である。図示するように、横軸を並進ずれ量 u， v、縦軸を回転ずれ量 δで表し、高解像度■鮮明化に貢献する基準を領域（a ) ， ( b ) ，（c ) で表している。ここで、領域（a ) は、通常の手ブレ、パンにより発生する隣接フレーム画像間のずれの範囲、領域（b ) は、速いパン、故意に回転操作を行なった場合の隣接フレーム画像間のずれの範囲、領域（c ) は、並進ずれ量、回転ずれ量のとり得る範囲を示している。本実施例では、領域（a ) の範囲は、 — 1 6画素≤並進ずれ量 u , ν≤ Ί 6画素、一 1 ° ≤回転ずれ量 <5≤ 1 ° の条件を満たす領域とした。フレーム画像間のずれ量が領域（a ) に含まれる場合には、画像の鮮明化に貢献する対象フレーム画像であると判断する。換言すると、 ± 1 6画素、 ± 1 ° を画像の鮮明化に貢献する閾値として設定した。もとより、この閾値は、上記のように固定的な値としても良いが、画像の条件や合成の条件などに従って設定するものとしても良い。例えば、合成しょうとする画像全体の縦横の画素数に対する割合（例えば、数％ないし十数％) として設定するものとしても良い。あるいは、画像を抽出した元の動画の光学的な倍率などに応じて設定するものとしても良い。倍率が低ければ一般にプレなどは生じにくいからである。更に、この閾値は学習するものとしても良い。合成後の画像の良否を使用者に判定させ、鮮明化に対して満足であると判定された時には、閾値を高くし、鮮明化に対して不満足である判定された場合には、閾値を低くし、その使用者が、使用する画像に対する閾値を徐々に学習するものとしても良い。一般に、通常のデジタレビデ才力メラにて撮影した動画像において、手ブレゃパンによる隣接するフレーム画像間のずれ量は、並進ずれ量で数画素、回転ずれ量で 1 ° 以下程度である。したがって、フレーム画像間のずれ量が領域（a ) に入るフレーム画像を選択することで、例えば、速いパンにより、フレーム画像自体にプレが含まれるようなフレーム画像を対象フレーム画像から排除することができる。また、シーンチェンジをまたぐようなフレーム画像を対象フレーム画像から排除することができる。なお、領域（a ) の範囲に含まれるフレーム画像の回転ずれ量 δは、 ± 1 ° 以下であるため、上述の「ずれ量の検出」過程で導入した cos 5 = 1， sin δ = δ の近似式が十分に成り立つ範囲（ずれ量の検出精度を保つ範囲）となる。したがつて、領域（a ) に含まれるフレーム画像を対象フレーム画像として使用することで、ずれ量検出の精度を低下させるフレーム画像も排除することができる。

B . 第 2実施例：

B 1 . 画像処理：

図 7は、複数枚の画像データを合成して一の静止画像を生成する第 2実施例の画像処理のフローチヤ一卜である。図示するように、画像の合成処理の中止の判断ステップを設けたことカ、図 2に示した第 1実施例の場合と異なる。したがつて、第 1実施例と共通する処理については、簡潔に説明する。なお、第 2実施例の画像処理システムのハード構成については、第 1実施例と同様であるため、符号を同一とし、説明を省略する。図 7に示すように、ユーザのキー |f—ド 4 1操作により、画像処理が開始すると、パーソナルコンピュータ 30は、画像データデース 2 0からフレーム画像デ一夕を入力する（ステップ S 400) 。本実施例では、第 1実施例と同様に、ュ一ザが指定したものを参照フレーム面像 F 1 とし、参照フレーム画像 F 1から時系列に連続する 3枚のフレーム画像を対象フレーム画像（F 2〜F 4) として抽出する（ステップ S 4 1 0) 。パーソナルコンピュータ 3 0は、各フレーム画像間のずれ量（LI， v，（5) を検出する（ステップ S 4 2 0) 。このずれ量検出処理は、第 1実施例と同様、参照フレーム画像 F 1， 3枚の対象フレーム画像（F 2〜F 4) のそれぞれのフレー厶画像間のずれ量（u， V, δ) を検出する。以下、図 8に示すように、このフレーム画像間のずれ量検出処理の内、参照フレーム画像 F 1 と対象フレーム画像 F 2との間の処理を処理 S 1 — 2と、対象フレーム画像 F 2と対象フレーム画像 F 3との間の処理を処理 S 2— 3と、対象フレーム画像 F 3と対象フレーム画像 F 4との間の処理を処理 S 3 _ 4と呼ぶ。パーソナルコンピュータ 30は、換出したフレーム画像間のずれ量の内、隣接する一のフレーム画像間のずれ量（u， ν， <5) が第 1実施例の閾値内であるか否かを判断する（ステップ S 43 0) 。具体的には、処理 S 1 — 2より検出したずれ量（u， V, δ) と閾値との比を行なう。ステップ S 4 3 0にて、ずれ量が閾値内に入らない場合には、ディスプレイ 4 3上に画像の合成処理を実行しても鮮明な画像が得られない旨などの警告画面を表示し（ステップ S 4 60) 、合成処理を実行するか否かをユーザに還択させる選択画面を表示する（ステップ S 4 6 5) 。ステップ S 4 6 5にて、合成処理を実行しない旨をユーザが選択した場合には、合成処理を中止し（ステゾプ S 4 7 0) 、この一連の画像処理を終了する。他方、ステップ S 4 3 0にて、ずれ量が閾値内である場合、または、ステップ S 4 6 5にて、ずれ量が閾値内には入らないが合成処理を実行する旨をユーザが選択した場合には、他の隣接フレーム画像間の全てについて、ずれ量（u， v， δ ) の確認を行なったか否かを判断する（ステップ S 4 4 0 ) 。全ての隣接フレー厶画像間のずれ量について、閾値内であるか否かの確認を行なっていない場合には、ステップ S 4 3 0へ戻り、次の隣接フレーム画像間のずれ量の検出についての判断を行なう。具体的には、処理 S 1 — 2にて検出したずれ量が閾値の条件を満たせば、処理 S 2— 3のずれ量について条件を判断する。処理 S 2— 3にて検出したずれ量が閾値の条件を満たせば、処理 S 3— 4のずれ量について条件を判断する。この過程にて、閾ィ直を満たさないものが一つでもあれば、上述と同様に、警告表示を行ない（ステップ S 4 6 0 ) 、合成処理を実行するか否かをユーザに選択させる（ステップ S 4 6 5 ) 。ステップ S 4 4 0にて、パーソナルコンピュータ 3 0は、全ての隣接フレーム画像間のずれ量が閾値の条件を満たすと判断した場合には、画像の合成処理を実行する（ステップ S 4 5 0 ) 。なお、合成処理を実行する前に、第 1実施例と同様、同一または同一と見なせるフレーム画像を排除するための並進ずれ量 u， V についての判断を行なっている。パーソナルコンピュータ 3 0は、合成された静止画像をディスプレイ 4 3上に表示すると共に、この一連の画像処理を終了する。この処理は、第 1実施例と同様である。第 2実施例の画像処理では、画像合成の高解像度化 ·鮮明化に貢献しない画像が含まれる場合には、警告を表示し、画像の合成処理を実行するか否かをユーザに選択させる。ユーザは画像の鮮明化が望めるか否かの判断を容易に行なうことができ、画像の鮮明化が望める場合にのみ、処理時間のかかる画像の合成処理の実行を選択することができる。したがって、効率的な画像処理を行なうことができる。また、一般に、デジタルビデ才力メラで撮影した動画像において、合成画像の鮮明化に貢献するフレーム画像の隣接フレーム画像間のずれ量が急激に変化することはない。本実施例では、検出した隣接フレーム画像間のずれ量の内、少なくとも一つが条件を満たさない場合には、警告表示を行なう。つまり、画像処理の早い段階で、画像合成を中止する力否かを判断することができる。したがつて、より効率的な画像処理システムを構築することができる。なお、本実施例では、全ての隣接フレーム画像間のずれ量の検出の後に、ずれ量についての判断を行なうものとした力、一の隣接フレーム画像間のずれ量を検出して判断を行ない、一の隣接フレーム画像間が条件を満たした時のみ、次の隣接フレーム画像間のずれ量を検出するものとしても良い。また、本実施例では、一つでもずれ量が閾値を超える画像がある場合には合成処理の中止を促す警告を行なうものとしたが、合成処理を実行するための画像枚数の許容値を設定し、許容値に満たない場合に、合成処理を中止するものとしても良い。例えば、抽出した 4枚のフレーム画像のうち、閾値を超える画像が 1枚ある場合には、閾値を超える画像を除外して、 3枚の画像で合成処理を実行し、閾値を超える画像が 2枚以上となった場合には、合成処理を中止するものとして良い。

C . 第 3実施例：

C 1 . 画像処理装置の構成：

第 3実施例の画像処理システムのハード構成は、第 1実施例と同様であるが、画像データベース 2 0に保有される画像データ（つまり、画像の合成処理を行なう素材）が異なる。したがって、各装置の符号は同一として説明は省略し、取り扱う画像データについて説明する。第 3実施例で取り扱う画像データ（ま、デジタルスチルカメラの連写モードで撮影した複数の静止画像データである。この静止画像データは、 E x i f 形式の画像ファイルであり、 J P E G形式の画像データに、撮影日時，露光時間，フラッシュの有無などの撮影情報を付加した構造からなる画像ファイルである。このデジ夕ルスチルカメラの連写モードで fま、シャッターを押し続けることで、 1 Z 3 0秒間隔の静止画像を撮影すること力できる。画像データベース 2 0には、 1ノ 3 0秒間隔で撮影した少なくとも 4つの E x i f フアイルが保有されている。この画像ファィルは、撮影対象の明るさによって自動的に露光時間を変化させて撮影された画像デ一夕を備えたフアイノレである。なお、本実施例では、 1 / 3 0秒間隔の静止画像を取り扱うこととしたが、例えば、 1秒間に 4枚、 9枚といった通常の連写モードで撮影した静止画像を用いるものとしても良い。

C 2 . 画像処理：

図 9は、複数枚の画像データを合成して一の静止画像を生成する第 3実施例の画像処理のフローチヤ一卜である。上述のハード構成において、ユーザがキーボ —ド 4 1を操作することで、パーソナルコンピュータ 3 0にインス I ルされた画像処理が開始される。パーソナルコンピュータ 3 0は、画像データベース 2 0から連写モードで撮影した複数の静止画像ファイルを読み込み、ディスプレイ 4 3上に表示する。ュ一ザは、表示された静止画像から、所望する一の静止画像を指定する（ステップ S 5 0 0 ) 。この指定操作は、ディスプレイ 4 3上の一の静止画像を、マウス 4 2 でクリックすることで行なわれる。一の静止画像の指定指令を受けたパーソナルコンピュータ 3 0は、読み込んだ静止画像フアイルの中から、指定された静止画像に時系列で連続する 3枚の静止画像を抽出し（ステップ S 5 1 0 ) 、第 1実施例と同様、この 4枚の静止画像の各画像間のずれ量を検出する処理を行なう（ステップ S 5 2 0 ) 。なお、区別のため、指定された静止画像を参照画像と、抽出された静止画像を対象画像と呼ぶ。続いて、パーソナルコンピュータ 3 0は、各画像が画像の合成に使用できるか否かを判断するため、ずれ量に対する閾値を設定する（ステップ S 5 3 0 ) 。第 3実施例では、第 1実施例のように固定された閾値を持たず、各画像ファイルの撮影情報に含まれる露光時間を用いて、対象となる静止画像毎に閾値を設定する。なお、この閾値の設定については、後述する。パーソナルコンピュータ 3 0は、各画像間のずれ量が露光時間に基づいて設定した閾値内にあるか否かの判断を行なう。本実施例では、デジタルスチルカメラで連写した静止画像であることから回転ずれ量 δは小さいものとして、並進ずれ量 u， Vに対して閾値内であるか否かの判断を行なっている。パーソナルコンビユー夕 3 0は、判断の結果、閾値の条件を見たさない対象画像を合成の対象から除外する処理を行なう（ステップ S 5 4 0 ) 。パーソナルコンピュータ 3 0は、除外されずに残った対象画像と参照画像とを用いて、画像の合成処理を行なう（ステップ S 5 5 0 ) 。この処理は、第 1実施例と同様である。パーソナルコンピュータ 3 0は、こうして合成された静止画像をディスプレイ 4 3上に表示すると共に、この処理を終了する。 C 3. 閾値の設定：

図 1 0は、連写モードで撮影される静止画像の撮影周期と露光時間の関係の説明図である。図 1 0は、撮影周期 T f ごとに、時系列で連続して撮影した静止画像（F 1， F 2, F 3 · - - ) の露光時間 T pを示している。本実施例では、上述のように、撮影周期 T f は 1 /3 0秒で一定間隔であり、各静止画像における露光時間 T pは静止画像ごとに変化する。ここで、時系列で連続する静止画像 F 1 と静止画像 F 2とのずれ量（u， v， 6) を求める。連写モードで撮影しており、回転ずれ量 δが小さいとすると、画像間における被写体の移動量 m f は、

m f = (u ² + v² ) ^1/2 ■ · ' ( 1 5)

で表される。この移動量 m f は、撮影周期 T f の時間内の移動量を示していることとなる。他方、一の静止画像内における被写体の移動量 m pが、画像間の移動量 m に比例関係にあるとすると、一の静止画像内における被写体の移動量 m pは、 m p =m f X T p/T f ■ · ■ ( 1 6)

で表される。この移動量 m pは、露光時間 T p内の移動量を示していることとなる。この移動量 m pが 1画素を超える cfcうな場合は、一の静止画像内にブレが生じている可能性があると判断できる。このプレに対する許容量を 1画素以下の所定値 m p tとすると、画像間の移動量 f は、

m f =m p t X T f /T p · , · ( 1 7) で表現できる。つまり、この条件式を満たす範囲を、画像間のずれ量（U， V ) の閾値とする。この上記式（1 7 ) では、露光時間 T pが長い静止画像に対しては、画像間のずれ量の許容範囲が狭く、露光時間 T pが短い静止画像に対しては、画像間のずれ量の許容範囲が広くなる。したがって、撮影条件の異なる静止画像ごとに適切なずれ量の閾値を設定することがきる。なお、本実施例では、撮影周期 T f は 1 / 3 0秒で一定である力撮影周期が変化しても上記式（1 7 ) を満たす閾値を設定することで、プレのある画像を検出することができる。本実施例では、静止画像ごとの露光時間 T pを用いて個々に閾値を設定することで、静止画像内にブレの生じている可能性のある静止画像を適切に除外することができる。したがって、効率的な画像処理を行なうことができる。なお、第 3 実施例では、第 1実施 ί列と同様、不適当な画像を除外して合成処理をするものとしたが、第 2実施例のように、画像の合成を中止するものとしても良い。また、本発明の第 1実施例から第 3実施例では、時系列的に連続する画像を素材として説明したが、本発明は、これに限るものではない。例えば、日を異にして同じアングルから撮影した画像を選択して、画像の合成処理に用いる素材としても良い。さらに、近接する 2台のデジタルビデ才力メラ，デジタルスチルカメラ等で同時に撮影した画像を、画像の合成処理に用いる素材とすることもできる。この場合には、 2台のカメラの各々の解像度は低くても、合成処理によって、高解像度の静止画像を出力することができる。以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。産業上の利用可能性

本実施例では、パーソナルコンピュータを本発明の画像処理装置として説明したが、例えば、プリンタ，デジタルビデ才力メラ，デジ夕ルスチルカメラなど種々の機器においても実施可能である。本発明の画像処理装置および画像処理方法は、コンピュータ上で単独で実現しても良いし、これらの機器に内蔵した形態で実施するものであっても差し支えない。

Claims

請求の範囲

1 . 複数の画像から画素密度の高い静止画像を生成する画像処理装置であつて、

前記静止画像の^:成に用いる複数の画像を抽出する画像抽出手段と、前記抽出した複数の画像間のずれ量を検出するずれ量検出手段と、

前記検出したずれ量に基づいて、前記抽出した複数の画像の中から 2以上の画像を特定する特定手段と、

該特定された 2以上の画像を合成して一の静止画像を生成する画像合成手段とを備えた画像処理装置。

2 . 請求項 1 に記載の画像処理装置であって、

前記画像抽出手段は、前記一の静止画像の合成の基準となる画像を指定する指定手段を備え、該措定された画像に対して、予め関連付けられた順序に従って、複数の画像を抽出する手段である画像処理装置。

3 . 請求項 2に記載の画像処理装置であって、

前記複数の画像は、時系列に連続する複数の画像であリ、

前記関連付けられた順序は、前記指定された画像から連続する時系列順である画像処理装置。

4 . 請求項 1ないし 3のいずれか記載の画像処理装置であって、

前記一の静止画像の生成に先立って、前記画像の合成に用いる画像枚数を表示する合成枚数表示手段を備えた画像処理装置。

5 . 請求項 1ないし 4のいずれか記載の画像処理装置であって、

前記特定された 2以上の画像の枚数が所定の枚数に達しない場合には、警告を表示する警告手段を備えた画像処理装置。

6 . 請求項 1ないし 5のいずれか記載の画像処理装置であって、

前記選沢された 2以上の画像の枚数が所定の枚数に達しない場合には、前記画像の合成を実行するか否かを選択する選択手段を備えた画像処理装置。

7 . 請求項〗ないし 6のいずれか記載の画像処理装置であって、

前記特定された 2以上の画像の枚数が所定の枚数に達しない場合には、前記画像の合成を中止する中止手段を備えた画像処理装置。

8 . 請求項 1ないし 7のいずれか記載の画像処理装置であって、

前記特定手段は、前記検出されたずれ量が所定の閾値を超える画像を前記抽出した複数の画像から除外する除外手段を備え、該除外手段によって除外された画像以外の画像を、前記 2以上の画像として特定する手段である画像処理装置。

9 . 請求項 8記載の画像処理装置であつて、

前記検出したずれ量は、画像間の並進方向の並進ずれ量およびまたは回転方向の回転ずれ量であり、

前記除外手段は、前記並進ずれ量および Zまたは前記回転ずれ量が前記所定の閾値を超える画像を除外する手段である

画像処理装置。

1 0 . 前記所定の閾値は、前記画像を構成する画素数に対して所定の割合として定められた画素数である請求項 9記載の画像処理装置。

1 1 . 請求 9に記載の画像処理装置であって、

前記並進ずれ量の所定の閾値は、 ± 1 6画素であり、前記回転ずれ量の所定の閾値は、土 1 ° で^)る画像処理装置。

1 2 . 請求項 1ないし請求項 1 1のいずれか記載の画像処理装置であって、前記複数の画像 ίま、動画像に含まれる複数のフレーム画像である画像処理装置。

1 3 . 請求項 8ないし請求項 1 1のいずれか記載の画像処理装置であって、前記複数の画像 (ま、撮影時の撮影対象の明るさによって変化する露光時間の情報を有する複数の静止画像であり、

前記露光時間に基づいて、前記静止画像毎に前記所定の閾値を設定する閾値設定手段を備える

画像処理装置。

1 4 . 複数の画像から画素密度の高い静止画像を生成する画像処理方法であつて、

前記静止画像の生成に用いる複数の画像を抽出し、

前記抽出した複数の画像間のずれ量を検出し、

前記検出したずれ量に基づいて、前記抽出した複数の画像の中から 2以上の画像を特定し、

前記特定された 2以上の画像を合成して一の静止画像を生成する

画像処理方法。

1 5 . 請求項 1 4に記載の画像処理方法であって、

前記特定された 2以上の画像が所定の枚数に達しない場合には、前記画像の合成を中止する画像処理方法。

1 6 . 複数の画像から画素密度の高い静止画像を生成する画像処理装置であつて、

前記静止画像の生成に用いる複数の画像を取り出す出力器と、

前記抽出した複数の画像間のずれ量を、該画像のデータに基づいて演算する演算器と、

前記演算したずれ量に基づいて、前記抽出した複数の画像の中から 2以上の画像を特定するセレクタと、

前記特定された複数の画像を合成して一の静止画像を生成する画像合成器とを備えた画像処理装置。

1 7 . コンピュータに読み込まれて、複数の画像から画素密度の高い静止画像を生成する処理を実現するするコンピュータプログラムプロダクトであって、該コンピュータプログラムプロダクトは、プログラムコードと、該プログラムコ一ドを記憶する記憶媒体とからなり、

前記プログラムコードは、

前記静止画像の生成に用いる複数の画像を抽出する第 1のプログラムコードと、

前記抽出した複数の画像間のずれ量を検出する機能と、

前記検出したずれ量に基づいて、前記抽出した複数の画像の中から 2以上の画像を特定する第 2のプログラムコードと、

前記特定された 2以上の画像を合成して一の静止画像を生成する第 3のプログラムコードと

を備えたコンピュータプログラムプロダク卜 ,