JP5353141B2 - プログラム、カメラ、画像処理装置、及び画像の合焦度算出方法 - Google Patents

Description

本発明は、プログラム、カメラ、画像処理装置、及び画像の合焦度算出方法に関する。

従来から、電子カメラなどで取得したデジタルの撮像画像に関し、画像の注目領域に含まれるエッジ量や高周波成分を用いて撮像画像の合焦度を評価する手法が公知である（一例として、特許文献１参照）。
特開２００３−２７４２５８号公報

しかし、上記の従来技術の手法で撮像画像の合焦度を求める場合には、画像に含まれるノイズが多くなるとエッジ量の誤検出が生じやすくなり、特に高い撮像感度で撮像された画像については合焦度の評価精度が大きく低下しうる。そのため、上記の従来技術でノイズの影響を抑制するためには、例えば、撮像感度を考慮してノイズ対策用のパラメータの設定を行うか、あるいは撮像感度に応じたノイズ除去処理を行うなどの煩雑な処理が要求される点で改善の余地があった。

そこで、本発明の目的は、ノイズの影響を受けにくく、パラメータ調整が不要な処理で撮像画像の合焦度を精度よく求めるための手段を提供することにある。

一の態様に係るプログラムは、撮像画像を取得する取得処理と、前記撮像画像に含まれる画素のうちから注目画素を指定するとともに、前記注目画素の位置を基準として前記撮像画像内に所定サイズの局所領域を設定する局所領域設定処理と、前記局所領域に含まれる複数の画素から求めた画素値の勾配情報を用いて、前記局所領域内での前記勾配情報の総和を変数とする主成分分析の固有値問題を解くことにより、前記注目画素の位置での画像構造を示す画像構造ベクトルを求める構造情報演算処置と、少なくとも２つ以上の前記注目画素から求まる前記画像構造ベクトルの強度を示す情報の比較を行うことで、前記撮像画像の所定位置での合焦度を求める合焦度算出処理と、前記画像読込処理で複数枚の前記撮像画像を取得したときに、各々の前記撮像画像において前記合焦度を求める判定領域をそれぞれ設定する判定領域設定処理と、各々の前記撮像画像における前記判定領域での前記合焦度をそれぞれ比較して、該比較結果に基づいて前記撮像画像の選択を行う画像選択処理と、をコンピュータに実行させることを特徴とする。

本発明では、複数の注目画素の位置での画像構造を示す画像構造ベクトルの情報を用いて、撮像画像の合焦度を精度よく求めることができる。

＜一の実施形態の説明＞
図１は、一の実施形態に係る画像処理装置の構成例を示すブロック図である。一の実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。この画像処理装置を構成するコンピュータ１１は、画像処理プログラムの実行によって、入力された撮像画像に対する合焦度の評価を行うことができる。

コンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、撮像画像のデータや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとを記憶する。また、記憶装置１３には、データ読込部１２から取得した撮像画像のデータを記録することもできる。なお、一の実施形態での記憶装置１３は、ハードディスクや、不揮発性の半導体メモリなどで構成される。

ＣＰＵ１４は、コンピュータ１１の各部動作を統括的に制御するプロセッサである。また、ＣＰＵ１４は、画像処理プログラムの実行によって、撮像画像の所定位置での画像構造を示す画像構造ベクトルを求める。そして、ＣＰＵ１４は、この画像構造ベクトルの情報を用いて撮像画像の合焦度を求める（なお、上記の演算処理の内容については後述する）。また、メモリ１５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

次に、一の実施形態の画像処理プログラムによる撮像画像の合焦度評価について説明する。

一般的に、撮像画像内のノイズは画像の構造やエッジの方向とは無関係に存在するため、画像のノイズに起因するエッジ量は指向性のないものとなる。一方、通常の撮像画像では、画像の構造に起因して、局所領域では構造方向の画素値同士に強い相関が生じることが知られている。そして、上記の局所領域において、相関の強い方向（画像の構造が類似する方向）における画素値の差分は小さな値を示し、相関の強い方向に対して垂直方向の画素値の差分は大きな値を示す。

そのため、一の実施形態の画像処理プログラムは、上記性質を利用し、主成分分析の手法を用いて求まる、局所領域での画像構造を示す画像構造ベクトルの情報に基づき撮像画像の合焦度を評価している。

（合焦度評価処理の動作例１）
以下、図２の流れ図を参照しつつ、一の実施形態の画像処理プログラムによる合焦度評価処理の一例として、１枚の撮像画像において合焦度の高い箇所を探索するときの動作例を説明する。なお、図２の流れ図の処理は、ユーザーによるプログラム実行指示に応じて開始される。

ステップＳ１０１：ＣＰＵ１４は、評価対象となる撮像画像のデータを、データ読込部１２を介して外部から取得する。Ｓ１０１で取得された撮像画像のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、ＣＰＵ１４は、撮像画像のデータが予め記憶装置１３に記憶されている場合には、Ｓ１０１の処理を省略してもよい。

ステップＳ１０２：ＣＰＵ１４は、撮像画像に含まれる複数の画素のうちから、画像構造ベクトルを求める注目画素Ｘの位置を指定する。

ここで、一例として、Ｓ１０２でのＣＰＵ１４は、撮像画像の全ての画素を注目画素Ｘとして順次指定するものとして説明を行うが、撮像画像内の所定画素からなる小領域において以下の処理を行ってもよい。なお、Ｓ１０２でのＣＰＵ１４は、注目画素Ｘの位置を変更するときには、画像の左上隅を起点として１行ずつ左から右に注目画素Ｘを順番に指定してゆくものとする。

ステップＳ１０３：ＣＰＵ１４は、注目画素Ｘの位置を基準として、撮像画像内に所定の局所領域を設定する（図３参照）。この局所領域のサイズと形は任意に設定できるが、一例として、Ｓ１０３でのＣＰＵ１４は、撮像画像内において注目画素を中心とした矩形の範囲（例えば９×９画素の範囲）を局所領域として設定する。

ステップＳ１０４：ＣＰＵ１４は、局所領域に含まれる各画素の画素値の勾配情報を用いて、注目画素Ｘの位置での画像構造ベクトルを求める。ここでは一例として、Ｓ１０４でのＣＰＵ１４は、画素値の勾配を求めるときに、撮像画像の輝度に着目して演算を行う。入力される撮像画像データがＹＣｂＣｒ形式のものであれば、ＣＰＵ１４はＹ成分の画素値の勾配を求めればよいが、撮像画像データがＲＧＢ形式の場合には、ＣＰＵ１４はＲＧＢのいずれかの画素値の勾配を求めてもよく、あるいはＲＧＢからＹＣｂＣｒへ色空間変換後にＹ成分の画素値の勾配を求めればよい。

次に、Ｓ１０４でのＣＰＵ１４は、以下の要領で画像構造ベクトルを求める演算処理を行う。上記の局所領域（Ｓ１０３）内の各画素ｘ_iについて、画素値の勾配を

の固有値問題を解くことで求めることができる。但し、上記の式（２）中の「Ｃ」は、局所領域内の各画素ｘ_iにおける画素値ｆ（ｘ）を用いて下式（３）により定義される行列を示している。

なお、上記の式（３）の「Σ」は、いずれも局所領域に含まれる全画素の和を示している。

また、上記の行列Ｃは２行２列の行列であるので、上記の式（２）は２つの固有値と、２つの異なる単位固有ベクトルとをもつことが分かる。

ステップＳ１０５：ＣＰＵ１４は、現在の注目画素Ｘが最後の位置（画像の右下隅の画素）のものであるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０６に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１４はＳ１０２に戻って上記動作を繰り返す。なお、Ｓ１０５でのＮＯ側のループにより、撮像画像の各位置で求められた画像構造ベクトルの情報がそれぞれメモリ１５に記憶されることとなる。

ステップＳ１０６：ＣＰＵ１４は、画像構造ベクトルの情報を用いて、以下の（イ）または（ロ）のいずれかの手法（あるいは両者の組み合わせ）によって、撮像画像の各位置での合焦評価値Ｅを求める。

（イ）ＣＰＵ１４は、各注目画素の位置における画像構造ベクトルの強度を示す固有値λ_s（Ｓ１０４で求まったもの）から、撮像画像の各位置での合焦評価値を求める。

ここで、上記の固有値λ_sは画像の構造の指向強度を２乗した量となっているので、固有値λ_sの２重根を合焦評価値とすることが好ましい。また、固有値λ_sは局所領域内の画素数に比例する値であるため、局所領域内の画素数で平均化することが好ましい。そのため、ＣＰＵ１４は、以下の式（４）により、各々の注目画素Ｘごとに合焦評価値Ｅを演算する。

なお、式（４）の「Ｎ」は、局所領域内の画素数を示している。また、上記の画像構造ベクトルの強度が大きくなるほど画像の合焦度はより高くなることを示す。したがって、注目画素の位置での画像の合焦度が高い程上記の合焦評価値Ｅの値も高くなる。

（ロ）ＣＰＵ１４は、隣接する注目画素間における画像構造ベクトルの方向の相関に基づいて、撮像画像の各位置での合焦評価値Ｅを求める。

画像内で合焦状態にある被写体については、画像における構造の相関が高くなることから、注目画素とその周囲の画素との画像構造ベクトルはそれぞれ同じ方向に向きやすくなる。一方、画像内でピントが合っていない被写体については、画像がボケて構造の指向性が失われてしまい、合焦状態と比べると画像構造ベクトルの向きは不均一なものとなる。そのため、隣接する注目画素間での画像構造ベクトルの方向の相関をみれば、画像の各位置での合焦度を評価できることが分かる。

ステップＳ１０７：ＣＰＵ１４は、Ｓ１０６で求めた合焦評価値の分布状態をモニタ１９に表示する。これにより、ユーザーは、モニタ１９の表示から画像の合焦状態を容易に確認できる。

一例として、図４に評価対象の撮像画像の例を示すとともに、図５に合焦評価値の分布状態の表示画面を模式的に示す。なお、簡単のため、図５の表示画面では合焦評価値が高いほど太い線で被写体を表現する。図４は、中央の人物にピントが合っているが、背景の木はボケた状態となっている画像を示している。この場合、図５に示す合焦評価値の表示画面では、人物の合焦評価値が高い値で示される一方で、背景の木の合焦評価値は低い値で示される。以上で、図２の流れ図の説明を終了する。

（合焦度評価処理の動作例２）
次に、図６の流れ図を参照しつつ、一の実施形態の画像処理プログラムによる撮像画像の合焦度評価処理の別例として、複数枚の撮像画像を対象として各画像間で合焦状態を比較するときの動作例を説明する。なお、図６の流れ図の処理も、ユーザーによるプログラム実行指示に応じて開始される。

ステップＳ２０１：ＣＰＵ１４は、評価対象となる複数枚の撮像画像のデータを、データ読込部１２を介して外部から取得する。ここでは一例としてＳ２０１でＣＰＵ１４が、同一の被写体を連写撮影した撮像画像群を評価対象とする場合を考える。なお、Ｓ２０１の処理の内容は、図２のＳ１０１にほぼ対応するので重複説明は省略する。

ステップＳ２０２：ＣＰＵ１４は、上記の複数枚の撮像画像のうちで、合焦評価値の演算を行う画像を指定する。ここで、Ｓ２０２でのＣＰＵ１４は、Ｓ２０１で取得した複数枚の撮像画像のすべてを演算対象として順次指定してゆくものとする。

ステップＳ２０３：ＣＰＵ１４は、Ｓ２０２で指定した撮像画像の画素のうちから、画像構造ベクトルを求める注目画素Ｘの位置を指定する。

ここでは一例としてＳ２０３でＣＰＵ１４が、撮像画像を撮像したときの焦点検出エリアの位置を基準として、撮像画像の一部分に判定領域を設定する場合を考える。そして、この判定領域内の画素から注目画素Ｘを順次指定するものとする。

上記の判定領域を設定するために、Ｓ２０３でのＣＰＵ１４は、撮影時の焦点検出エリアの位置情報を撮像画像データの付帯情報（例えばＥｘｉｆ規格によるヘッダ情報）から取得するものとする。なお、図６の処理の例では、ＣＰＵ１４は、画像内で焦点検出エリアに対応する矩形の小領域を判定領域とする（図７参照）。また、各々の撮像画像間で判定領域の位置はいずれも共通するものとする。

ステップＳ２０４：ＣＰＵ１４は、判定領域内の注目画素Ｘの位置を基準として、撮像画像内に所定サイズの局所領域を設定する。なお、Ｓ２０４の処理の内容は、図２のＳ１０３に対応するので重複説明は省略する。

ステップＳ２０５：ＣＰＵ１４は、局所領域に含まれる各画素の画素値の勾配情報を用いて、注目画素Ｘの位置での画像構造ベクトルを求める。なお、Ｓ２０５の処理の内容は、図２のＳ１０４に対応するので重複説明は省略する。

ステップＳ２０６：ＣＰＵ１４は、現在の注目画素Ｘが上記判定領域内の最後の位置であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０７に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１４はＳ２０３に戻って上記動作を繰り返す。なお、Ｓ２０６でのＮＯ側のループにより、上記の判定領域内の各画素位置で求められた画像構造ベクトルの情報がそれぞれメモリ１５に記憶されることとなる。

ステップＳ２０７：ＣＰＵ１４は、判定領域内の画像構造ベクトルの情報を用いて、撮像画像の判定領域の各画素位置における合焦評価値Ｅを求める。Ｓ２０７でのＣＰＵ１４は、図２のＳ１０６での処理と同様に、画像構造ベクトルの強度（固有値λ_s）から合焦評価値Ｅを求めるか、あるいは、隣接する注目画素間での固有単位ベクトルの内積から合焦評価値Ｅを求めればよい。そのため、上記の合焦評価値の演算についての重複説明は省略する。

ステップＳ２０８：ＣＰＵ１４は、全ての撮像画像が処理されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０９に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ１４はＳ２０２に戻って、未処理の他の撮像画像を演算対象として上記動作を繰り返す。

ステップＳ２０９：ＣＰＵ１４は、各々の撮像画像の判定領域における合焦評価値Ｅの大きさを比較して、全ての撮像画像のうちから合焦度が最も高い画像を選択する。例えば、ＣＰＵ１４は、評価対象の撮像画像群のうちで合焦評価値Ｅが最大値をとる画像を選択する。

ここで、画像構造ベクトルの強度から合焦評価値Ｅを求める場合、上記の固有値λ_sは画像の輝度値の影響を受けることとなる。そのため、それぞれ輝度の異なる複数の撮像画像間で固有値λ_sに基づく合焦評価値Ｅを比較する場合には、ＣＰＵ１４は合焦評価値Ｅを正規化する必要が生じる。一例として、ＣＰＵ１４は、任意の撮像画像における画像構造ベクトルの固有値λ_sの最大値λ_maxを求めるとともに、全ての撮像画像において画像構造ベクトルの固有値λ_sをそれぞれ上記の最大値λ_maxで除して正規化すればよい。なお、注目画素間での固有単位ベクトルの内積から合焦評価値Ｅを求めた場合には、合焦評価値Ｅは画像の輝度値に影響されないので上記のような正規化を行う必要はない。

ステップＳ２１０：ＣＰＵ１４は、Ｓ２０９での画像の選択結果をモニタ１９に表示する。例えば、ＣＰＵ１４は、Ｓ２０９で選択された撮像画像の再生画面やファイル名の情報などをモニタ１９に表示する（この場合の表示画面の図示は省略する）。これにより、ユーザーは、複数枚の撮像画像のうちから、焦点検出エリアに対応する被写体に最もピントが合った良好な画像を容易にピックアップできる。以上で、図６の流れ図の説明を終了する。

以下、一の実施形態での作用効果を述べる。一の実施形態でのＣＰＵ１４は、撮像画像の局所領域での画像構造ベクトルをそれぞれ求めるとともに、画像構造ベクトルの強度や画像構造ベクトルの方向の相関に基づいて撮像画像の合焦度を評価する。上記の画像構造ベクトルは、局所領域内における画素値の勾配から主成分分析の手法を用いて求めるので、方向性のないノイズによる勾配成分から上記の画像構造ベクトルへのノイズの影響は非常に小さなものとなる。そのため、一の実施形態では、画像のエッジ量や画像の高周波成分から合焦度を求める手法よりも、画像の合焦度をより高い精度で求めることが可能となる。

また、一の実施形態では、撮像画像の撮像感度に応じてパラメータを調整する必要はなく、コンピュータ１１によって撮像画像の合焦度を評価するときのユーザーの利便性が大きく向上する。

＜他の実施形態の説明＞
図８は、他の実施形態の電子カメラの構成例を示すブロック図である。電子カメラ２１は、フォーカシングレンズ２２と、レンズ駆動部２３と、撮像素子２４と、制御部２５と、ＲＯＭ２６と、バッファメモリ２７と、モニタ２８と、記録Ｉ／Ｆ２９と、レリーズ釦３０とを有している。ここで、レンズ駆動部２３、撮像素子２４、ＲＯＭ２６、バッファメモリ２７、モニタ２８、記録Ｉ／Ｆ２９およびレリーズ釦３０は、それぞれ制御部２５に接続されている。

フォーカシングレンズ２２は、焦点調節を行うためのレンズである。このフォーカシングレンズ２２のレンズ位置は、レンズ駆動部２３によって光軸方向に調整される。

撮像素子２４は、フォーカシングレンズ２２を含む撮像光学系によって結像される被写体像を撮像して撮像画像の画像信号を生成する。なお、撮像素子２４から出力された画像信号は、Ａ／Ｄ変換回路（不図示）を介して制御部２５に入力される。

ここで、電子カメラ２１の撮影モードにおいて、撮像素子２４はレリーズ釦３０の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子２４は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ２８での動画像表示や制御部２５による各種の演算処理に使用される。

制御部２５は、電子カメラ２１の動作を統括的に制御するプロセッサである。また、制御部２５は、ＲＯＭ２６に格納されたプログラムの実行により、画像処理部３１、合焦度評価部３２として機能する。

画像処理部３１は、撮像画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。また、画像処理部３１は、テンプレートマッチングにより、時系列に入力されるスルー画像から追尾対象となる被写体の位置を継続的に検出できる。なお、追尾対象の被写体としては、人間、動物、乗物などのあらゆる物体を対象とすることができる。

合焦度評価部３２は、上記の一の実施形態と同様に、撮像画像の局所領域で画像構造ベクトルをそれぞれ求めるとともに、画像構造ベクトルの情報を用いて合焦評価値を求める。

ＲＯＭ２６には、制御部２５によって実行されるプログラムが記憶されている。なお、このプログラムによる撮影モードでの動作例については後述する。また、バッファメモリ２７は、画像処理部３１による画像処理の前工程や後工程で画像のデータを一時的に記憶する。このバッファメモリ２７は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。また、モニタ２８は、制御部２５の指示に応じて各種画像を表示する。

記録Ｉ／Ｆ２９には、不揮発性の記憶媒体３３を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２９は、コネクタに接続された記憶媒体３３に対してデータの書き込み／読み込みを実行する。上記の記憶媒体３３は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図８では記憶媒体３３の一例としてメモリカードを図示する。

レリーズ釦３０は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

（電子カメラの撮影モードでの動作例）
次に、図９の流れ図を参照しつつ、他の実施形態の電子カメラ２１の撮影モードでの動作例を説明する。なお、図９の流れ図の処理は、レリーズ釦３０の半押し操作に応じて開始される。

ステップＳ３０１：制御部２５は、撮像素子２４を駆動させてスルー画像を撮像する。そして、撮像素子２４から出力されたスルー画像のデータは、制御部２５に入力される。

ステップＳ３０２：合焦度評価部３２は、スルー画像（Ｓ３０１）において焦点検出エリアに対応する判定領域から、画像構造ベクトルを求める注目画素Ｘの位置を指定する。

ステップＳ３０３：合焦度評価部３２は、注目画素Ｘの位置を基準として、スルー画像内に所定サイズの局所領域を設定する。なお、Ｓ３０３の処理の内容は、図２のＳ１０３に対応するので重複説明は省略する。

ステップＳ３０４：合焦度評価部３２は、局所領域に含まれる各画素の画素値の勾配情報を用いて、注目画素Ｘの位置での画像構造ベクトルを求める。なお、Ｓ３０４の処理の内容は、図２のＳ１０４に対応するので重複説明は省略する。

ステップＳ３０５：合焦度評価部３２は、現在の注目画素Ｘが上記判定領域内の最後の位置であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ３０６に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、合焦度評価部３２はＳ３０２に戻って上記動作を繰り返す。

ステップＳ３０６：合焦度評価部３２は、画像構造ベクトルの情報を用いて、スルー画像の判定領域における合焦評価値Ｅを求める。Ｓ３０６での合焦度評価部３２は、図２のＳ１０６での処理と同様に、画像構造ベクトルの強度（固有値λ_s）から合焦評価値Ｅを求めるか、あるいは、隣接する注目画素間での固有単位ベクトルの内積から合焦評価値Ｅを求めればよい。そのため、上記の合焦評価値の演算についての重複説明は省略する。

ステップＳ３０７：合焦度評価部３２は、フォーカシングレンズ２２のレンズ位置が合焦状態にあるか否かを判定する。具体的には、合焦度評価部３２は、フォーカシングレンズ２２のレンズ位置がそれぞれ前後するスルー画像との間で合焦評価値Ｅの大小を比較する。そして、合焦度評価部３２は、現在のレンズ位置での合焦評価値Ｅがピークであれば合焦状態と判定する。

上記要件を満たす場合（ＹＥＳ側）にはＳ３０９に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ３０８に移行する。なお、合焦評価値Ｅの初回演算時には、Ｓ３０７での合焦度評価部３２はＮＯ側の判定を行ってＳ３０８に処理を移行する。

ステップＳ３０８：制御部２５は、レンズ駆動部２３を介してフォーカシングレンズ２２のレンズ位置を山登り動作で所定方向に移動させるとともに、Ｓ３０１に戻って上記動作を繰り返す。なお、制御部２５は、レンズ位置の移動後に焦点評価値が大きくなる場合には、フォーカシングレンズ２２を同一方向に移動させる。一方、制御部２５は、レンズ位置の移動後に焦点評価値が小さくなる場合には、フォーカシングレンズ２２を逆方向に移動させる。

ステップＳ３０９：制御部２５は、レリーズ釦３０が全押しされたか否かを判定する。レリーズ釦３０が全押しされた場合（ＹＥＳ側）にはＳ３１０に移行する。一方、レリーズ釦３０が全押しされていない場合（ＮＯ側）には、制御部２５はレリーズ釦３０の全押しを待機する。

ステップＳ３１０：制御部２５は、撮像素子２４を駆動させて本画像の撮像処理を実行する。本画像のデータは、画像処理部３１で所定の処理が施された後に、記録Ｉ／Ｆ２９を介して記憶媒体３３に記録される。以上で、図９の流れ図の説明を終了する。

他の実施形態の電子カメラ２１は、スルー画像を用いてＡＦ制御を行うときに、一の実施形態と同様に画像構造ベクトルの情報に基づいて画像の合焦度を評価する。よって、他の実施形態の電子カメラ２１では、ノイズによる誤検出が少なく精度のよいＡＦを実現できる。

（他の実施形態における撮影モードの変形例）
他の実施形態の電子カメラ２１の撮影モードでは、画像処理部３１は、スルー画像から追尾対象の被写体を継続的に検出する被写体追尾処理を実行することができる。例えば、画像処理部３１は、レリーズ釦３０の半押しに応答して、焦点検出エリアに対応する被写体のテンプレートをスルー画像から生成する。画像処理部３１は、新たなスルー画像が取得されるたびにテンプレートマッチングを実行して、追尾対象の被写体を検出する。

そして、上記の被写体追尾処理が実行されているときには、Ｓ３０２での合焦度評価部３２は、各々のスルー画像において追尾対象の被写体の位置を中心として判定領域を設定してもよい。この場合には、被写体追尾のときのＡＦ制御の精度を向上させることが可能となる。

＜実施形態の補足事項＞
（１）本発明のプログラムを実行する装置は、上記実施形態のコンピュータ１１や電子カメラ２１の例に限定されることなく、画像の表示出力機能を有する電子機器全般（カメラ付携帯電話や画像のビューアなど）に広く適用できる。

（２）上記の各実施形態では、合焦度を求める各種の演算処理をプログラムでソフトウェア的に実現する例を説明したが、これらの処理をＡＳＩＣを用いてハードウエア的に実現しても勿論かまわない。

（３）上記の他の実施形態では、電子カメラ２１がＡＦを行うときに画像構造ベクトルの情報に基づいて画像の合焦度を求める例を説明した。しかし、他の実施形態の電子カメラ２１も、一の実施形態の場合と同様に、撮影後の後処理工程において本画像を評価対象として合焦度の評価を行うことは勿論可能である。

（４）上記の図６の処理において、ＣＰＵ１４は、図２の処理の場合と同様に、撮像画像全体で画像構造ベクトルの情報を求めるようにしてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

一の実施形態に係る画像処理装置の構成例を示すブロック図 一の実施形態での撮像画像の合焦度評価処理の一例を示す流れ図 局所領域および画像構造ベクトルの説明図 評価対象の撮像画像の例を示す図 図４に対応する合焦評価値の分布状態の表示画面の例を示す模式図 一の実施形態での撮像画像の合焦度評価処理の別例を示す流れ図 判定領域の設定例を示す図 他の実施形態の電子カメラの構成例を示すブロック図 他の実施形態の電子カメラの撮影モードでの動作例を示す流れ図

符号の説明

１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス、１８…入力デバイス、１９…モニタ、２１…電子カメラ、２２…フォーカシングレンズ、２３…レンズ駆動部、２４…撮像素子、２５…制御部、２６…ＲＯＭ、２７…バッファメモリ、２８…モニタ、２９…記録Ｉ／Ｆ、３０…レリーズ釦、３１…画像処理部、３２…合焦度評価部、３３…記憶媒体

Claims (8)

1. 撮像画像を取得する取得処理と、
   前記撮像画像に含まれる画素のうちから注目画素を指定するとともに、前記注目画素の位置を基準として前記撮像画像内に所定サイズの局所領域を設定する局所領域設定処理と、
   前記局所領域に含まれる複数の画素から求めた画素値の勾配情報を用いて、前記局所領域内での前記勾配情報の総和を変数とする主成分分析の固有値問題を解くことにより、前記注目画素の位置での画像構造を示す画像構造ベクトルを求める構造情報演算処置と、
   少なくとも２つ以上の前記注目画素から求まる前記画像構造ベクトルの強度を示す情報の比較を行うことで、前記撮像画像の所定位置での合焦度を求める合焦度算出処理と、
   前記画像読込処理で複数枚の前記撮像画像を取得したときに、各々の前記撮像画像において前記合焦度を求める判定領域をそれぞれ設定する判定領域設定処理と、
   各々の前記撮像画像における前記判定領域での前記合焦度をそれぞれ比較して、該比較結果に基づいて前記撮像画像の選択を行う画像選択処理と、
   をコンピュータに実行させることを特徴とするプログラム。
2. 請求項１に記載のプログラムにおいて、
   前記構造情報演算処置では、前記局所領域内の画素ｘ_ｉについて、画素値の勾配を
   但し、式（２）の「Ｃ」は下式（３）により定義される。
   
3. 請求項１又は２に記載のプログラムにおいて、
   前記合焦度算出処理の代わりに、隣接する前記注目画素間における前記画像構造ベクトルの方向の相関に基づいて前記合焦度を求める第２の合焦度算出処理を備える、ことを特徴とするプログラム。
4. 請求項１から３のいずれか1項に記載のプログラムにおいて、
   前記撮像画像を撮像したときの焦点検出エリアの位置情報を取得する焦点位置情報取得処理をさらに含み、
   前記判定領域設定処理では、前記焦点検出エリアの位置に基づいて前記判定領域を設定することを特徴とするプログラム。
5. 請求項１から４のいずれか1項に記載のプログラムにおいて、
   前記画像読込処理で複数枚の前記撮像画像を取得したときに、各々の前記撮像画像において追尾対象の被写体を検出する被写体追尾処理をさらに含み、
   前記判定領域設定処理では、前記追尾対象の被写体の位置に基づいて前記判定領域を設定することを特徴とするプログラム。
6. 請求項１から請求項５のいずれか１項に記載のプログラムを実行するコンピュータを備えることを特徴とするカメラ。
7. 撮像画像を取得する取得工程と、
   前記撮像画像に含まれる画素のうちから注目画素を指定するとともに、前記注目画素の位置を基準として前記撮像画像内に所定サイズの局所領域を設定する局所領域設定工程と、
   前記局所領域に含まれる複数の画素から求めた画素値の勾配情報を用い、前記局所領域内での前記勾配情報の総和を変数とする主成分分析の固有値問題を解くことにより、前記注目画素の位置での画像構造を示す画像構造ベクトルを求める構造情報演算工程と、
   少なくとも２つ以上の前記注目画素から求まる前記画像構造ベクトルの強度を示す情報の比較を行うことで、前記撮像画像の所定位置での合焦度を求める合焦度算出工程と、
   前記画像読込処理で複数枚の前記撮像画像を取得したときに、各々の前記撮像画像において前記合焦度を求める判定領域をそれぞれ設定する判定領域設定処理工程と、
   各々の前記撮像画像における前記判定領域での前記合焦度をそれぞれ比較して、該比較結果に基づいて前記撮像画像の選択を行う画像選択処理工程と、
   を含むことを特徴とする画像の合焦度算出方法。
8. 撮像画像を取得する取得部と、
   前記撮像画像に含まれる画素のうちから注目画素を指定するとともに、前記注目画素の位置を基準として前記撮像画像内に所定サイズの局所領域を設定する局所領域設定部と、
   前記局所領域に含まれる複数の画素から求めた画素値の勾配情報を用いて、前記局所領域内での前記勾配情報の総和を変数とする主成分分析の固有値問題を解くことにより、前記注目画素の位置での画像構造を示す画像構造ベクトルを求める構造情報演算部と、
   少なくとも２つ以上の前記注目画素から求まる前記画像構造ベクトルの強度を示す情報の比較を行うことで、前記撮像画像の所定位置での合焦度を求める合焦度算出部と、
   前記画像読込処理で複数枚の前記撮像画像を取得したときに、各々の前記撮像画像において前記合焦度を求める判定領域をそれぞれ設定する判定領域設定部と、
   各々の前記撮像画像における前記判定領域での前記合焦度をそれぞれ比較して、該比較結果に基づいて前記撮像画像の選択を行う画像選択部と、
   を備えたことを特徴とする画像処理装置。