JP2006085258A - 画像比較方法、画像比較プログラムおよび画像比較装置 - Google Patents

Abstract

【課題】複数の画像を比較する場合に定量的な指標を提供できる画像比較技術を得る。
【解決手段】画像処理装置では、表示画面ＤＳにおいて複数の画像を画像表示領域Ｄ１に並列的に表示できるとともに、これらの画像について例えばピントを比較するためのピント評価値を比較結果表示領域Ｄ３に表示できる。このピント評価値については、複数の画像にハイパスフィルタを施して高周波成分画像を作成し、各高周波成分画像のヒストグラムから得られる標準偏差を利用している。これにより、複数の画像を比較する場合に定量的な指標をユーザに提供できる。
【選択図】図４

Description

本発明は、複数の画像を比較する画像比較技術に関する。

デジタルカメラにおいては、銀塩カメラのように残り撮影枚数を心配する必要性が少ないため、１つのシーンについて、露出やフィルタによる色合い、画角、モデルの表情やポーズ、ライティングなどを様々に変化させて、多くの枚数を撮影する傾向となっている。

特定のシーンについて多数回の撮影を行った場合には、一連の画像の中で最終的に好ましい一枚を選択する作業が必要である。

この画像選択作業を効率良く行うための技術として、例えば特許文献１に開示されるものがある。この技術では、一つの画面上に複数の画像を表示し、移動・拡大表示・縮小表示等について各画像を連動できるようになっている。

特開平１１−４５３３４号公報

上記の特許文献１の技術では、画面表示される複数の画像について人間の眼による主観的な比較が可能であるものの、ピントや露光量、ホワイトバランスなどに関する定量的で客観的な比較を行うことは困難である。

本発明は、上記課題に鑑みてなされたものであり、複数の画像を比較する場合に定量的な指標を提供できる画像比較技術を得ることを目的とする。

上記の課題を解決するため、請求項１の発明は、画像比較方法であって、(a)比較対象となる複数の画像を取得する取得工程と、(b)前記複数の画像それぞれに基づき、特定の比較項目に関する数値情報を生成する数値情報生成工程と、(c)表示手段の表示画面に、前記複数の画像を並列して表示させるとともに、前記数値情報に基づく情報表示を行わせる表示工程とを備える。

また、請求項２の発明は、請求項１の発明に係る画像比較方法において、前記数値情報は、前記複数の画像に係る各データに対して所定の処理を施し、定量値として得られた数値の情報である。

また、請求項３の発明は、請求項１の発明に係る画像比較方法において、前記数値情報は、前記複数の画像それぞれから、比較評価に用いる評価値として得られた数値の情報である。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る画像比較方法において、前記数値情報は、高周波成分の情報、露光量の情報、色度値の情報およびブレ量の情報からなる群から選択される情報である。

また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る画像比較方法において、前記情報表示は、基準値に対しての相対値に基づく表示を含む。

また、請求項６の発明は、請求項５の発明に係る画像比較方法において、前記基準値は、前記複数の画像から基準画像として選択された１の画像に基づき得られる。

また、請求項７の発明は、請求項１ないし請求項６のいずれかの発明に係る画像比較方法において、前記数値情報生成工程は、(b-1)複数の比較項目から、前記特定の比較項目を選択する工程を有する。

また、請求項８の発明は、請求項１ないし請求項７のいずれかの発明に係る画像比較方法において、前記数値情報生成工程は、(b-2)前記複数の画像それぞれについて、比較対象となる画像部位を指定する指定工程と、(b-3)前記指定工程で指定された画像部位それぞれに基づき、前記数値情報を生成する工程とを有する。

また、請求項９の発明は、画像比較プログラムであって、コンピュータに、(a)比較対象となる複数の画像を取得する取得工程と、(b)前記複数の画像それぞれに基づき、特定の比較項目に関する数値情報を生成する数値情報生成工程と、(c)表示手段の表示画面に、前記複数の画像を並列して表示させるとともに、前記数値情報に基づく情報表示を行わせる表示工程とを実行させる。

また、請求項１０の発明は、画像表示可能な表示手段を有する画像比較装置であって、(a)比較対象となる複数の画像を取得する取得手段と、(b)前記複数の画像それぞれに基づき、特定の比較項目に関する数値情報を生成する数値情報生成手段と、(c)前記表示手段の表示画面に、前記複数の画像を並列して表示させるとともに、前記数値情報に基づく情報表示を行わせる表示制御手段とを備える。

請求項１ないし請求項１０の発明によれば、表示手段の表示画面に、複数の画像を並列して表示させるとともに、複数の画像それぞれに基づき特定の比較項目に関して生成された数値情報に基づく情報表示を行わせるため、複数の画像を比較する場合に定量的な指標を提供できる。

特に、請求項５の発明においては、情報表示が基準値に対しての相対値に基づく表示を含むため、分かり易い指標を提供できる。

また、請求項６の発明においては、基準値は複数の画像から基準画像として選択された１の画像に基づき得られるため、基準画像との比較が容易となる。

また、請求項７の発明においては、複数の比較項目から特定の比較項目を選択するため、所望の比較項目について定量的な指標が得られ、利便性が向上する。

また、請求項８の発明においては、複数の画像それぞれについて比較対象となる画像部位を指定し、指定された画像部位それぞれに基づき数値情報を生成するため、比較範囲を絞った詳細な情報を提供できる。

＜画像処理システムの要部構成＞
図１は、本発明の実施形態に係る画像処理システム１の要部構成を示す概略図である。

画像処理システム１は、例えばパーソナルコンピュータとして構成される画像処理装置２と、画像処理装置２とケーブルＣＢを介して通信可能に接続されるデジタルカメラ３とを備えている。

画像処理装置２は、箱状の形状を有する処理部２０と、操作部２１と、表示部２２とを有しており、画像比較装置として機能する。

処理部２０の前面には、光ディスク９１を挿入するドライブ２０１と、メモリカード９２を挿入するドライブ２０２とが設けられている。

操作部２１は、マウス２１１とキーボード２１２とを有しており、ユーザからの画像処理装置２に対する操作入力を受付ける。

表示部２２は、例えばＣＲＴモニタで構成され、表示手段として機能する。

デジタルカメラ３は、撮影レンズ３１によって結像される被写体の光学像を、例えばＣＣＤとして構成される撮像素子３２にて光電変換し、画像データを生成できる。このデジタルカメラ３で生成された画像データについては、ケーブルＣＢを介して画像処理装置２に入力可能な構成となっている。

図２は、画像処理システム１の機能ブロックを示す図である。

画像処理装置２は、上記の操作部２１および表示部２２に接続する入出力Ｉ／Ｆ２３と、入出力Ｉ／Ｆ２３に伝送可能に接続する制御部２４とを備えている。また、画像処理装置２は、制御部２４に伝送可能に接続する記憶部２５と、入出力Ｉ／Ｆ２６と、通信部２７とを備えている。

入出力Ｉ／Ｆ２３は、操作部２１および表示部２２と制御部２４との間でデータの送受をコントロールするためのインターフェースである。

記憶部２５は、例えばハードディスクとして構成されており、後述する画像比較プログラムＰＧなどを格納する。

入出力Ｉ／Ｆ２６は、ドライブ２０１、２０２を介して、記録媒体である光ディスク９１、メモリカード９２に対するデータの入出力を行うためのインターフェースである。この入出力Ｉ／Ｆ２６を介して、例えばメモリカード９２に記録されている複数の画像データを画像処理装置２が取得できることとなる。

通信部２７は、ケーブルＣＢを介してデジタルカメラ３と通信するためのインターフェースである。この通信部２７により、デジタルカメラ３で取得された複数の撮影画像データを画像処理装置２に入力できることとなる。

制御部２４は、コンピュータとして働くＣＰＵ２４１およびメモリ２４２を有しており、画像処理装置２の動作を統括制御する部位である。この制御部２４で記憶部２５内の画像比較プログラムＰＧが実行されることにより、後述するピントなどの比較表示が可能となる。

制御部２４のメモリ２４２には、光ディスク９１に記録されている画像比較プログラムＰＧなどのプログラムデータを入出力Ｉ／Ｆ２６を介してインストールできる。これにより、この格納したプログラムを画像処理装置２の動作に反映できる。

＜画像比較プログラムＰＧについて＞
図３は、画像比較プログラムＰＧの構成を説明するための図である。また、図４は、画像比較プログラムＰＧを実行した場合の表示画面ＤＳを示す図である。

画像比較プログラムＰＧは、サブルーチンとして働く画像入力部ＰＧ１と、画像表示制御部ＰＧ２と、比較項目設定部ＰＧ３と、特徴量演算部ＰＧ４と、比較画像作成部ＰＧ５と、比較結果出力部ＰＧ６と、画像操作部ＰＧ７とを備えており、各部は制御部２４において実行されることで機能する。

デジタルカメラ３で撮影され通信部２７で受信した複数の画像、例えば画像Ａおよび画像Ｂが画像入力部ＰＧ１に入力されると、画像表示制御部ＰＧ２によって、図４に示す画像表示領域Ｄ１の第１画像領域Ｄａおよび第２画像領域Ｄｂに表示される。

比較項目設定部ＰＧ３は、ユーザが画像Ａおよび画像Ｂを比較するために指定する比較項目を設定する。

この比較項目の指定については、図４に示す選択ボタンＢ１をマウス２１１でクリックした後に図５のように画面上に表示されるプルダウンメニューＭＮにおいて、複数の比較項目、具体的には「ピント」、「露光量」、「ホワイトバランス」および「ブレ量」の各項目から選択することにより行われる。そして、選択された比較項目は、図４に示す比較項目表示領域Ｄ２に表示される。

特徴量演算部ＰＧ４は、比較項目設定部ＰＧ３で設定された比較項目に基づき、画像Ａおよび画像Ｂの比較に必要な特徴量の算出を行う。

比較画像作成部ＰＧ５は、入力された画像Ａおよび画像Ｂに対して画像処理（例えばフィルタ処理）を行い比較画像の作成を行う。

なお、特徴量演算部ＰＧ４および比較画像作成部ＰＧ５では、入力画像Ａ、Ｂに対する並列的な処理が行われる。

比較結果出力部ＰＧ６は、特徴量演算部ＰＧ４および比較画像作成部ＰＧ５による処理結果を、図４に示す比較結果表示領域Ｄ３および画像表示領域Ｄ１に表示する。

画像操作部ＰＧ７は、マウス２１１等によるユーザの操作入力に応答し、画像表示領域Ｄ１に表示される画像Ａおよび画像Ｂに対して、画像の移動や拡大表示、縮小表示などの処理を行う。この処理では、第１表示領域Ｄａ内の画像Ａと第２表示領域Ｄｂ内の画像Ｂとが連動される。

＜画像処理装置２の動作＞
図６は、画像処理装置２の動作を示すフローチャートである。本動作は、制御部２４で画像比較プログラムＰＧが実行されることにより実施される。

ステップＳ１では、例えばデジタルカメラ３で撮影されケーブルＣＢを介して送られた画像Ａおよび画像Ｂを画像入力部ＰＧ１により制御部２４のメモリ２４２に読み込む。すなわち、比較対象となる複数の画像が画像処理装置１で取得される。

ステップＳ２では、ステップＳ１で読み込まれた画像Ａおよび画像Ｂを、画像表示制御部ＰＧ２によって図４に示す表示画面ＤＳの画像表示領域Ｄ１に表示する。

ステップＳ３では、比較項目設定部ＰＧ３により、比較項目を設定する。具体的には、図４に示す選択ボタンＢ１をクリックして表示されるプルダウンメニューＭＮ(図５)から項目を選択することで、比較項目の設定が行われる。

ステップＳ４では、ステップ３で設定された比較項目に応じた比較画像を作成する。具体的には、ユーザの視覚によって容易に画像の比較作業が行えるように、比較画像作成部ＰＧ５により入力された画像Ａおよび画像Ｂに対して画像処理を施し、画像表示領域Ｄ１(図４)に表示させる。なお、ステップＳ４の動作は、選択された比較項目の内容によって実施の状況が異なり、入力画像に対して画像処理を行うのは、本実施形態においてはピント比較のみとなる(ピント比較で詳述する)。

ステップＳ５では、特徴量演算部ＰＧ４により、ステップＳ３で設定された比較項目に応じた特徴量を、入力画像またはステップＳ４で作成された比較画像から算出する。すなわち、複数の入力画像それぞれに基づき、ステップＳ３で設定された比較項目に関する数値情報、具体的には高周波成分の情報、露光量の情報、色度値の情報およびブレ量の情報(後で詳述)のいずれかを生成する。なお、特徴量の算出については、後述のように比較項目ごとに異なる処理が施されることとなる。

ステップＳ６では、比較結果出力部ＰＧ６により、ステップＳ５で特徴量として算出された比較結果を、図４に示す比較項目表示領域Ｄ３に表示する。なお、ステップＳ５の処理が実施された場合には、作成された比較画像を画像表示領域Ｄ１(図４)に表示する。

ステップＳ７では、画像操作部ＰＧ７により、図４に示す画像表示領域Ｄ１に表示される比較画像（または入力画像）に対し、ユーザの操作入力に応じた画像の移動、拡大表示および縮小表示などの処理を連動して行う。

以下では、上記のステップＳ４〜５の動作について、比較項目設定部ＰＧ３で選択可能な４つの比較項目、具体的には(１)ピント、(２)露光量、(３)ホワイトバランス、(４)ブレ量の順に説明する。

(１)ピントの比較について
図６のステップＳ３において図５に示すプルダウンメニューＭＮの「ピント」が比較項目として設定された場合のステップＳ４〜Ｓ５の動作について、以下で詳しく説明する。

図７は、上記のステップＳ４に対応し、比較画像の作成動作を示すフローチャートである。

ステップＳ１１では、図６のステップＳ１においてメモリ２４２に読み込まれた画像Ａおよび画像Ｂに対して、フィルタリング処理を行う。

具体的には、次の式(１)に示す３×３行列のハイパスフィルタによって、画像Ａ、Ｂそれぞれの画像処理を行う。

このようにハイパスフィルタによる画像処理が行われると、例えば図８に示す元画像Ｆ０は、高周波成分のみが表示されるフィルタリング画像Ｆ１に変換されることとなる。

すなわち、一般的な写真画像において、ピントの合っている部分は高周波成分が多く含まれるため、上式(１)に示すフィルタの処理によってピントの合った部分を強調した高周波成分画像が生成できることとなる。

図７に戻って説明を続ける。

ステップＳ１２では、ステップＳ１１で生成された高周波成分画像をメモリ２４２に記憶する。

ステップＳ１３では、画像入力部ＰＧ１に入力された全画像について処理が終了したかを判定する。例えば、入力された画像が画像Ａおよび画像Ｂの２枚であれば、これら２枚の画像に対するフィルタリング処理が完了したか否かを判断する。ここで、全画像の処理が終了した場合には、ステップＳ５に進み、終了していない場合には、ステップＳ１１に戻る。

なお、上記のステップＳ１１の動作については、上記の式(１)に示すフィルタで画像処理するのは必須でなく、次の式(２)〜(４)に示す画素の縦、横、斜め方向の差分をとる差分フィルタで処理を行うようにしても良い。

図９は、上記のステップＳ５に対応し、特徴量の算出動作を示すフローチャートである。

ステップＳ２１では、図７のステップＳ１２において記憶した高周波成分画像を、メモリ２４２から読み込む。

ステップＳ２２では、ステップＳ２１で読み込まれた高周波成分画像を展開して、ヒストグラムを作成する。例えば、画像Ａ、Ｂに基づく２枚の高周波成分画像それぞれにおいて、被写体の輝度値に対応する露光量(画素値)に関する２つのヒストグラムを生成する。

ステップＳ２３では、ステップＳ２２で作成されたヒストグラムについて標準偏差を算出し、算出された標準偏差を入力画像におけるピントの特徴量としてメモリ２４２に記憶する。このステップＳ２３において標準偏差を算出する理由を、以下で簡単に説明する。

画像のエッジ部分においては、例えば、図１０(ａ)に示すようにピントがボケている場合には、隣接画素との輝度差が小さいため、その差分値も小さくなる。よって、差分画像（フィルタリング画像）における分散は小さくなる。

一方、例えば図１０(ｂ)に示すようにピントが合っている場合には、隣接画素との輝度差が大きいため、その差分値も大きくなる。よって、差分画像における分散は大きくなる。

このようにピントの状態に応じて差分値の分散度合いが変化する差分画像において、画像全体または注目する画像部分のヒストグラムを作成した場合、ピントがボケた画像では、図１１(ａ)に示すように差分値が０付近に集中し、標準偏差σａが小さくなる。一方、ピントが合った画像では、図１１(ｂ)に示すように差分値の分散が大きくなるため、標準偏差σｂが大きくなる。

したがって、差分画像から作成されたヒストグラムの標準偏差を算出すれば、元画像のピント状態が定量的に把握できることとなる。

図９に戻って、説明を続ける。

ステップＳ２４では、画像入力部ＰＧ１に入力された全画像について標準偏差の算出が終了したかを判定する。例えば、入力された画像が画像Ａおよび画像Ｂの２枚であれば、これら２枚の画像に対する演算が完了したか否かを判断する。ここで、全画像について終了した場合には、ステップＳ６に進み、終了していない場合には、ステップＳ２１に戻る。

以上のように比較評価に用いる評価値として、複数の入力画像それぞれから得られた標準偏差(ピント評価値)は、例えば図１２に示すグラフとして表現され、比較結果表示領域Ｄ３(図４)に表示される。すなわち、図４に示すように表示部２２の表示画面では、複数の画像が並列して表示されるとともに、ピント評価値(数値情報)に基づく情報表示が行われる。その結果、ユーザは、画像Ａおよび画像Ｂに関するピント比較について定量的な指標が得られることとなる。

なお、ピント評価値については、図１２に示すように絶対値に基づく表示を行うのは必須でなく、複数の入力画像から基準画像として選択された１の画像に基づき得られる基準値に対しての相対値に基づく表示を行うようにしても良い。例えば、図１３に示すように、基準画像である画像Ａと画像Ｂおよび画像Ｃとの差分をグラフ表示しても良い。

(２)露光量の比較について
図６のステップＳ３において図５に示すプルダウンメニューＭＮの「露光量」が比較項目として設定された場合のステップＳ５の動作について、以下で詳しく説明する。なお、露光量が比較項目として設定されている場合には、入力画像に対して図６のステップＳ４の処理は行われない。

図１４は、上記のステップＳ５に対応し、特徴量の算出動作を示すフローチャートである。

ステップＳ３１では、画像入力部ＰＧ１に入力された複数の画像から、露光量比較を行う際に基準とする基準画像を設定する。例えば、図４に示す第１画像領域Ｄａおよび第２画像領域Ｄｂに表示される２枚の画像のうち、マウス２１１で選択した画像を基準画像として設定する。

ステップＳ３２では、入力画像に付随するＥｘｉｆ情報等から撮影時の設定を記録した撮影情報を読み込む。

ステップＳ３３では、ステップＳ３２で読み込まれた撮影情報に基づき、各入力画像について露出量(特徴量)を算出する。この算出方法について、具体的に説明する。

まず、入力画像に付加された撮影情報から、画像の露出値に関連するシャッター速度および絞り値の情報を抽出し、それらのＡＰＥＸ値を算出する。なお、ＡＰＥＸ値とは、シャッター速度や絞り値、ＩＳＯ感度という露出に関する要素を対数に変換し、単位系を揃えて露出量の比較を容易にしたものである。

ＡＰＥＸ値に換算されたシャッター速度、絞り値およびＩＳＯ感度を、それぞれＴＶ、ＡＶおよびＳＶとし、被写体輝度のＡＰＥＸ値をＢＶとした場合、露光量ＥＶは、次の式(５)で表すことができる。

ここで、上式(５)に、撮影情報におけるシャッター速度および絞り値から得られるＡＰＥＸ値ＴＶ、ＡＶを代入することによって、露光量ＥＶが算出できることとなる。

ステップＳ３４では、画像入力部ＰＧ１に入力された全画像について露出量の算出が終了したかを判定する。例えば、入力された画像が画像Ａおよび画像Ｂの２枚であれば、これら２枚の画像に対する演算が完了したか否かを判断する。ここで、全画像について終了した場合には、ステップＳ３５に進み、終了していない場合には、ステップＳ３２に戻る。

ステップＳ３５では、ステップＳ３３で算出された各画像の露光量に関して露光量差を算出する。具体的には、ステップＳ３１で設定された基準画像の露光量をＥＶ０とし、他の入力画像ｉの露光量をＥＶ(ｉ)とすると、露光量差ΔＥＶ(ｉ)は、次の式(６)で求められることとなる。

以上のように、複数の入力画像に係る各撮影データに対して所定の処理を施し、定量値として得られた露光量の差は、例えば図１５に示す数値表示として表され、比較結果表示領域Ｄ３(図４)に表示される。これにより、ユーザは、画像Ａおよび画像Ｂに関する露光量比較について定量的な指標が得られることとなる。

なお、露光量については、図１５に示すように画像全体の露光量に関する比較情報を表示するのは必須でなく、複数の入力画像それぞれで指定される各ポイントの露光量に関する比較情報を表示するようにしても良い。例えば図１６に示すように、画像Ａの座標(１２８，３７８)のポイントに関する露光量と、画像Ｂの座標(２５４，４０８)のポイントに関する露光量との露光量差を表示しても良い。この場合、入力画像についてのＲＡＷ画像（撮像素子からの出力値をデジタル変換しただけの「生」の画像）を利用すると、指定ポイントの露光量を簡易に取得できることとなる。

(３)ホワイトバランスの比較について
図６のステップＳ３において図５に示すプルダウンメニューＭＮの「ホワイトバランス」が比較項目として設定された場合のステップＳ５の動作について、以下で詳しく説明する。なお、ホワイトバランスが比較項目として設定されている場合には、入力画像に対して図６のステップＳ４の処理は行われない。

図１７は、上記のステップＳ５に対応し、特徴量の算出動作を示すフローチャートである。

ステップＳ４１では、画像入力部ＰＧ１に入力された複数の画像それぞれについて、ホワイトバランスの比較対象となる比較位置(画像部位)を設定する。例えば、図４に示す第１画像領域Ｄａおよび第２画像領域Ｄｂに表示される各画像において、マウス２１１でドラッグして比較領域が設定される。

ステップＳ４２では、ステップＳ４１で設定された各比較位置での画素値に基づき、色度値（明るさの情報を排除して色味だけを表した値）を算出する。すなわち、指定された画像部位それぞれに基づき、特徴量としての色度値の情報が生成される。

例えば、画像データがＲＧＢ３色で表現されている場合、次の式(７)によってＲＧＢ値を色度値ｒ、ｇに変換することが可能である。

ステップＳ４３では、ステップＳ４２で算出された色度値に基づき、色度図を作成する。例えば、図１８のように、縦軸をｇ、横軸をｒとしたグラフに色度値Ｐ１、Ｐ２、Ｐ３などがプロットされる色度図を作成する。

以上の動作により作成された色度図(図１８)は、図４に示す比較結果表示領域Ｄ３に表示される。これにより、ユーザは、各入力画像の比較位置に関するホワイトバランスについて定量的な指標が得られることとなる。さらに、ホワイトバランス比較において、色味成分と明るさ成分とが共に含まれるＲＧＢの画素値を単に対比させるのでなく、上式(７)で求まる色度値を対比させているため、最適な指標を提供できる。

なお、ホワイトバランス比較については、図１８に示すような色度図を表示するのは必須でなく、図１９に示す色度値の数値表示を行っても良い。この図１９に表される色度値については、ホワイトバランスがとれている場合、つまりＲ＝Ｇ＝Ｂの場合にｒ＝０、ｇ＝０となる次の式(８)に基づき算出されている。

また、図２０に示すようなグラフに例えば色度値Ｐａ、Ｐｂをプロットしたものを表示するようにしても良い。この場合も、上式(８)に基づき色度値が算出され、図２０のグラフの中心は、ｒ＝ｇ＝０の点となる。

(４)ブレ量の比較について
図６のステップＳ３において図５に示すプルダウンメニューＭＮの「ブレ量」が比較項目として設定された場合のステップＳ５の動作について、以下で詳しく説明する。なお、ブレ量が比較項目として設定されている場合には、入力画像に対して図６のステップＳ４の処理は行われない。

図２１は、上記のステップＳ５に対応し、特徴量の算出動作を示すフローチャートである。

ステップＳ５１では、画像入力部ＰＧ１に入力された複数の画像から、ブレ量の比較を行う際に基準とする基準画像を設定する。例えば、図４に示す第１画像領域Ｄａおよび第２画像領域Ｄｂに表示される２枚の画像のうち、マウス２１１で選択した画像を基準画像として設定する。

ステップＳ５２では、図６のステップＳ１においてメモリ２４２に読み込まれた複数の画像それぞれに関して、周波数特性の演算を行う。この周波数特性の演算について、具体的に説明する。

まず、各入力画像に対して２次元フーリエ変換を施しフーリエスペクトルＦ(Ｈ，Ｖ)を算出した後に、次の式(９)に基づきパワースペクトルＰ(Ｈ，Ｖ)を算出する。

このパワースペクトルＰ(Ｈ，Ｖ)については、フーリエスペクトルＦ(Ｈ，Ｖ)の絶対値の２乗として算出され周波数毎の強度分布を表している。このパワースペクトルとブレ量との関係を以下で説明する。

図２２は、パワースペクトルとブレ量との関係を説明するための図である。

ブレが生じていない画像においては、一般的に縦横成分とも多様な周波数成分が平均的に存在するため、図２２(ａ)のようにパワースペクトルの強度分布は縦横Ｖ、Ｈとも低周波から高周波まで同程度の広がり(分散)を持っている。

一方、縦方向にブレが生じた画像においては、横Ｈ方向の高周波成分に変化がないものの、縦Ｖ方向の高周波成分が減少することとなるため、図２２(ｂ)のように縦方向の広がり(分散)が小さくなる。同様に、横方向にブレが生じた画像においては、縦Ｖ方向の高周波成分に変化がないものの、横Ｈ方向の高周波成分が減少することとなるため、横方向の広がりが小さくなる。

以上のようにパワースペクトルの広がり具合とブレ量とは、密接に関連していることとなる。

ステップＳ５３では、画像入力部ＰＧ１に入力された全画像について周波数特性の演算が終了したかを判定する。例えば、入力された画像が画像Ａおよび画像Ｂの２枚であれば、これら２枚の画像に対する演算が完了したか否かを判断する。ここで、全画像の演算が終了した場合には、ステップＳ５４に進み、終了していない場合には、ステップＳ５２に戻る。

ステップＳ５４では、ステップＳ５２で演算された周波数特性(パワースペクトル)に基づき、ブレ量を算出する。このブレ量の算出に関して、具体的に説明する。

ブレ量については、パワースペクトルＰ(Ｈ，Ｖ)の一次元積分値を入力画像のブレ量を表す評価値として考えることとする。

そこで、例えば入力画像ｉに関する縦方向のパワースペクトルＰ(Ｈ，Ｖ)の一次元積分値Ｓ(ｉ)を、次の式(１０)に基づき算出する。

そして、図２１のステップＳ５１で設定された基準画像に関するパワースペクトルＰ(Ｈ，Ｖ)の一次元積分値をＳ(０)とすると、基準画像に対する入力画像ｉの相対的なブレ量Ｖｉｂ(ｉ)は、次の式(１１)で算出できることとなる。

以上の動作によりブレ評価値として算出された相対ブレ量Ｖｉｂ(ｉ)は、例えば図２３に示すグラフとして表現され、比較結果表示領域Ｄ３(図４)に表示される。これにより、ユーザは、画像Ａおよび画像Ｂに関するブレ量比較について定量的な指標が得られることとなる。

なお、ブレ評価値については、図２３に示すように基準画像に対しての相対値に基づく表示を行うのは必須でなく、図２４に示すように各入力画像について上式(１０)で算出された絶対値Ｓ(ｉ)に基づく表示を行うようにしても良い。

以上の画像処理装置２の動作により、選択した比較項目について各入力画像の特徴量を算出して、この数値情報に基づく表示を行うため、複数の画像を比較する場合に定量的な指標を提供できる。

＜変形例＞
◎上記の実施形態における画像の操作（図６のステップＳ７）については、各画像間で連動した操作を行うのは必須でなく、連動が必要な画像を選択できるようにして、ユーザが選択した画像のみ連動するようにしても良い。

◎上記の実施形態における画像入力については、デジタルカメラ３から画像処理装置２に入力するのは必須でなく、ドライブ２０２に装着されたメモリカード９２や、ネットワークを介して入力するようにしても良い。

◎上記の実施形態における基準画像の設定については、画面に表示される各画像に基準画像を指定するためのトグルボタン、チェックボタン等を設け、これをクリックすることにより設定を行うようにしても良い。

◎上記の実施形態における比較位置の設定については、各画像においてマウス２１１のドラッグにより比較位置を個別に設定するのは必須でなく、１枚の画像に対して比較位置を設定すれば連動して他の画像についても同一座標の比較位置が設定されるようにしても良い。

◎上記の実施形態については、２つの画像を比較するのは必須でなく、３以上の画像を比較するようにしても良い。

本発明の実施形態に係る画像処理システム１の要部構成を示す概略図である。 画像処理システム１の機能ブロックを示す図である。 画像比較プログラムＰＧの構成を説明するための図である。 画像比較プログラムＰＧを実行した場合の表示画面ＤＳを示す図である。 プルダウンメニューＭＮを説明するための図である。 画像処理装置２の動作を示すフローチャートである。 ピント比較における比較画像の作成動作を示すフローチャートである。 ハイパスフィルタによる画像処理を説明するための図である。 ピント比較における特徴量の算出動作を示すフローチャートである。 ピント状態と差分画像との関係を説明するための図である。 ピント状態で変化する差分画像のヒストグラムの標準偏差を説明するための図である。 ピント比較に関する表示の一例を示す図である。 ピント比較に関する表示の一例を示す図である。 露光量比較における特徴量の算出動作を示すフローチャートである。 露光量比較に関する表示の一例を示す図である。 露光量比較に関する表示の一例を示す図である。 ホワイトバランス比較における特徴量の算出動作を示すフローチャートである。 ホワイトバランス比較に関する表示の一例を示す図である。 ホワイトバランス比較に関する表示の一例を示す図である。 ホワイトバランス比較に関する表示の一例を示す図である。 ブレ量比較における特徴量の算出動作を示すフローチャートである。 パワースペクトルとブレ量との関係を説明するための図である。 ブレ量比較に関する表示の一例を示す図である。 ブレ量比較に関する表示の一例を示す図である。

符号の説明

１ 画像処理システム
２ 画像処理装置
３ デジタルカメラ
２２ 表示部
２４ 制御部
２４２ メモリ
Ａ、Ｂ 入力画像
Ｂ１ 選択ボタン
Ｄａ 第１画像領域
Ｄｂ 第２画像領域
Ｄ１ 画像表示領域
Ｄ３ 比較結果表示領域
ＭＮ プルダウンメニュー
ＰＧ 画像比較プログラム
ＰＧ１ 画像入力部
ＰＧ２ 画像表示制御部
ＰＧ３ 比較項目設定部
ＰＧ４ 特徴量演算部
ＰＧ５ 比較画像作成部
ＰＧ６ 比較結果出力部
ＰＧ７ 画像操作部
σａ、σｂ 標準偏差

Claims (10)

1. 画像比較方法であって、
   (a)比較対象となる複数の画像を取得する取得工程と、
   (b)前記複数の画像それぞれに基づき、特定の比較項目に関する数値情報を生成する数値情報生成工程と、
   (c)表示手段の表示画面に、前記複数の画像を並列して表示させるとともに、前記数値情報に基づく情報表示を行わせる表示工程と、
   を備えることを特徴とする画像比較方法。
2. 請求項１に記載の画像比較方法において、
   前記数値情報は、前記複数の画像に係る各データに対して所定の処理を施し、定量値として得られた数値の情報であることを特徴とする画像比較方法。
3. 請求項１に記載の画像比較方法において、
   前記数値情報は、前記複数の画像それぞれから、比較評価に用いる評価値として得られた数値の情報であることを特徴とする画像比較方法。
4. 請求項１ないし請求項３のいずれかに記載の画像比較方法において、
   前記数値情報は、高周波成分の情報、露光量の情報、色度値の情報およびブレ量の情報からなる群から選択される情報であることを特徴とする画像比較方法。
5. 請求項１ないし請求項４のいずれかに記載の画像比較方法において、
   前記情報表示は、基準値に対しての相対値に基づく表示を含むことを特徴とする画像比較方法。
6. 請求項５に記載の画像比較方法において、
   前記基準値は、前記複数の画像から基準画像として選択された１の画像に基づき得られることを特徴とする画像比較方法。
7. 請求項１ないし請求項６のいずれかに記載の画像比較方法において、
   前記数値情報生成工程は、
   (b-1)複数の比較項目から、前記特定の比較項目を選択する工程、
   を有することを特徴とする画像比較方法。
8. 請求項１ないし請求項７のいずれかに記載の画像比較方法において、
   前記数値情報生成工程は、
   (b-2)前記複数の画像それぞれについて、比較対象となる画像部位を指定する指定工程と、
   (b-3)前記指定工程で指定された画像部位それぞれに基づき、前記数値情報を生成する工程と、
   を有することを特徴とする画像比較方法。
9. 画像比較プログラムであって、
   コンピュータに、
   (a)比較対象となる複数の画像を取得する取得工程と、
   (b)前記複数の画像それぞれに基づき、特定の比較項目に関する数値情報を生成する数値情報生成工程と、
   (c)表示手段の表示画面に、前記複数の画像を並列して表示させるとともに、前記数値情報に基づく情報表示を行わせる表示工程と、
   を実行させることを特徴とする画像比較プログラム。
10. 画像表示可能な表示手段を有する画像比較装置であって、
    (a)比較対象となる複数の画像を取得する取得手段と、
    (b)前記複数の画像それぞれに基づき、特定の比較項目に関する数値情報を生成する数値情報生成手段と、
    (c)前記表示手段の表示画面に、前記複数の画像を並列して表示させるとともに、前記数値情報に基づく情報表示を行わせる表示制御手段と、
    を備えることを特徴とする画像比較装置。
    

Images