JP2009118083A - デジタルカメラ - Google Patents

Abstract

【課題】顔認識技術により主要被写体を検出し検出された画像領域を自動的に合焦させる機能を持つデジタルカメラにおいてミスのない効率的な撮影を行う。
【解決手段】光学系１８で結像した被写体像を撮影しデジタル画像に変換出力する撮影手段１２，１３，１４と、被写体像の結像位置を調節する焦点調節手段１２，１９，２０と、撮影待機状態で撮影手段が出力する連続撮影画像中から所定対象を検出する対象検出手段と、対象検出手段で検出した対象を含む部分画像領域毎にその画像領域の合焦度合いを表す合焦評価値を算出する合焦評価値算出手段と、合焦評価値算出手段で算出された合焦評価値を示す記号を生成する記号生成手段と、撮影手段で撮影された画像の部分画像領域の各々に各部分画像領域について算出され記号生成手段で生成された合焦評価値を表す記号を合成する合成手段と、合成手段で合成された記号を撮影画像上に表示する表示手段１５とを備える。
【選択図】図１

Description

この発明は、デジタルカメラ、詳しくは顔認識技術により主要被写体を検出し検出された画像領域を自動的に合焦状態とする機能を備えたデジタルカメラに関するものである。

近年、撮影レンズを介して入射した被写体の光像を撮像素子により光電変換し電子的なデジタル画像データを生成し、この画像データを半導体メモリ等の記憶媒体に記録するように構成されたデジタルカメラが実用化され広く普及している。

このようなデジタルカメラにおいては、撮影しようとする画角内に人物の顔等の主要被写体を検出する顔認識技術が実用化されている。そして、この顔認識技術を用いて検出した主要被写体を含む領域、即ち撮影画角内の例えば人物の顔のある領域をフォーカス領域として、このフォーカス領域を対象として自動的に焦点調節を行って撮影できるようにする技術が、種々提案されている。

また、例えば特開２００６−１４５６２９号公報によって開示されている手段は、顔認識技術を用いて所望の撮影画角内で人物の顔を検出し、検出された人物の顔が複数であった場合には、主要被写体として焦点調節動作を行うべき対象領域を使用者が任意に選択することができるようにしたものである。

これによれば、従来のデジタルカメラで行われる煩雑な焦点調節操作をせずに、所望の主要被写体（人物の顔）を合焦させた撮影画像を簡単な操作のみで取得することができるというものである。
特開２００６−１４５６２９号公報

ところが、上記特開２００６−１４５６２９号公報によって開示されている手段では、使用者が合焦対象として選択した主要被写体に対して合焦させることはできるが、使用者が選択した主要被写体以外の合焦度合いを知ることが困難であるという問題点がある。

このことは、使用者が選択した主要被写体とそれ以外の被写体との間で合焦度合いの差を知ることができないので、撮影された画像が使用者の意図する合焦度合いで撮影されるか否かを判断することができないということになる。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、例えば顔認識技術等を用いて主要被写体の検出を行った際に主要被写体が同一画角内に複数存在した場合でも、複数の主要被写体のうち所望の画像領域を適確に合焦状態とすることができると共に、各主要被写体の合焦度合いを考慮した撮影画像を取得することができ、ミスのない効率的な撮影を行い得るデジタルカメラを提供することである。

上記目的を達成するために、本発明によるデジタルカメラは、光学系により結像した被写体像を撮影しデジタル画像に変換して出力する撮影手段と、上記被写体像の結像位置を調節する焦点調節手段と、撮影待機状態において上記撮影手段が出力する連続撮影画像中から所定の対象を検出する対象検出手段と、上記対象検出手段で検出した対象を含む部分画像領域毎にその部分画像領域の合焦度合いを表す合焦評価値を算出する合焦評価値算出手段と、上記合焦評価値算出手段で算出された合焦評価値を示す記号を生成する記号生成手段と、上記撮影手段で撮影された画像の上記部分画像領域の各々に、各部分画像領域について算出され上記記号生成手段で生成された合焦評価値を表す上記記号を合成する合成手段と、上記合成手段で上記記号が合成された撮影画像を表示する表示手段と、を有することを特徴とする。

本発明によれば、例えば顔認識技術等を用いて主要被写体の検出を行った際に主要被写体が同一画角内に複数存在した場合でも、複数の主要被写体のうち所望の画像領域を適確に合焦状態とすることができると共に、各主要被写体の合焦度合いを考慮した撮影画像を取得することができ、ミスのない効率的な撮影を行い得るデジタルカメラを提供することができる。

以下、図示の実施の形態によって本発明を説明する。

図１は、本発明の一実施形態のデジタルカメラにおける内部構成のうち電気的な構成の主要部を示すブロック構成図である。

本実施形態のデジタルカメラ１は、内部回路全体の動作を制御する制御手段であるコントローラ１２と、筐体外表面に設けられる各種の操作ボタン（図示せず）とこの各種の操作部材に連動して各種の指示信号を発生させるスイッチ部材等を含む回路等からなる操作部１１と、被写体からの光束を透過させて被写体の光像（以下、被写体像という）を所定の位置に結像させる光学系である撮影レンズ１８と、撮影レンズ１８により結像される被写体の光像を受光して光電変換し電気的な画像信号を生成する光電変換素子である撮像素子等を含む電気回路等からなる撮像部１３と、撮像部１３で生成された画像信号を対象として各種の信号処理を施す回路等からなる処理部１４と、処理部１４から出力される画像信号を記録するのに適した形態の画像ファイルに変換する回路や当該画像ファイルを記憶する半導体メモリ等を含む記憶手段である画像記憶部１６と、処理部１４から出力される画像信号を一時的に記憶する内部半導体メモリ等からなる一時メモリ１７と、処理部１４から出力される画像信号を受けて表示に適した形態の画像信号に変換する回路やその画像信号に基いて画像を表示したり、処理部１４からの出力を受けて所定の情報等を表示する液晶ディスプレイ等からなる表示手段である表示部１５と、コントローラ１２の制御下で撮影レンズ１８の焦点調節動作を制御するＡＦコントローラ１９と、コントローラ１２の制御下でＡＦコントローラ１９の制御によって撮影レンズ１８を光軸Ｏに沿う方向に移動させる駆動機構であって駆動モータ等を含んで構成されるレンズ駆動部２０等によって、その主要部が構成されている。

コントローラ１２及び撮像部１３，処理部１４は、撮影レンズ１８（光学系）により結像した被写体像を撮影してデジタル画像に変換して出力する撮影手段として機能する。

また、コントローラ１２及びＡＦコントローラ１９，レンズ駆動部２０は、被写体像の結像位置を調節する焦点調節手段として機能する。この焦点調節手段は、例えば撮影手段からの出力（画像信号）に基いてレンズ駆動部２０を制御して撮影レンズ１８を駆動し自動的に合焦状態を検出するいわゆる自動焦点調節動作（オートフォーカス動作；ＡＦ動作）を行うものである。

これに加えて、上記焦点調節手段は、使用者の操作に応じて被写体像の結像位置を調節可能とする手動焦点調節動作（マニュアルフォーカス動作）を行うことができるようにもなっている。

この手動焦点調節動作とは、例えば使用者が任意に所定の操作部を手動操作することで、撮影画像の焦点調節を行うというものである。即ち、使用者が所定の操作部を操作すると、その指示信号を受けてコントローラ１２は、同操作部の指示に基づいてレンズ駆動部２０を制御し撮影レンズ１８を駆動する。その間、表示部１５には撮影手段の出力を受けて連続撮影画像が表示されるようになっている。使用者は、この表示部１５の表示画像を観察しながら操作部の所定の操作を行って、表示画像が合焦状態となるように調節する。このような一連の操作を手動焦点調節動作という。

一方、本デジタルカメラ１においては、撮影待機状態において撮影手段が出力する連続撮影画像（データ）の中から所定の対象、例えば人間の顔を検出する機能（いわゆる顔検出機能）を有している。この機能を実現する対象検出手段としてコントローラ１２がその役目を担っている。

このように構成される本実施形態のデジタルカメラ１の作用のうち、撮影動作時の作用を以下に説明する。

まず、本デジタルカメラ１において手動焦点調節動作による撮影を行う際の作用を説明する。

図２は、本実施形態のデジタルカメラにおいて手動焦点調節動作を行って撮影動作を実行する際の処理の流れを示すフローチャートである。

本デジタルカメラ１において手動焦点調節動作による撮影を行う際には、まず、デジタルカメラ１の電源をオン状態とし、撮影動作を行い得る撮影動作モードで起動する。これによりデジタルカメラ１は撮影待機状態となる。

次いで、使用者は、動作モードを切り換える所定の操作部材を操作して、手動焦点調節を行い得るマニュアルフォーカスモードに設定する。

デジタルカメラ１が撮影待機状態にあるときには、次のような処理が所定間隔で連続的になされている。即ち、撮影レンズ１８により形成される被写体像が撮像部１３の撮像素子の受光面上に結像される。撮像部１３の撮像素子は、被写体像を受光して光電変換処理を行って画像信号を生成し、処理部１４へと出力する。処理部１４は、これを受けて各種所定の信号処理を行って、表示部１５へと出力する。これを受けて表示部１５は、入力された画像信号を表示するのに最適な形態の表示用の画像信号に変換し、表示部１５の表示画面上に画像表示を行う。この一連の処理が繰り返されることにより、表示部１５の表示画面上には連続撮影画像が表示され続けている。

この状態において、使用者は、表示部１５の表示画面に表示される連続撮影画像を観察しながら所定の操作部材を手動操作することで、所望の主要被写体に対する焦点調節操作を行うことができる。これにより、使用者が所望する主要被写体が合焦状態になったとする。

図２の処理シーケンスは、デジタルカメラ１が撮影待機状態とされたときに開始される。即ち、図２に示すステップＳ１において、コントローラ１２は、撮影手段が出力する撮影画像信号、即ち処理部１４にて各種所定の信号処理がなされた後、表示部１５へと出力されるべき撮影画像信号について、所定の対象（例えば人間の顔）を主要被写体として検出する対象検出処理（顔認識処理）を実行する。この時点でコントローラ１２は、内部タイマー（特に図示せず）のカウントを開始させておく。その後、ステップＳ２の処理に進む。

なお、この対象検出処理である顔認識処理は、同一の撮影画角内に所定の対象である人間の顔が複数存在した場合、その複数の人間の顔を対象として同時に検出し得る機能を有しているものとする。

また、対象検出処理（顔認識処理）にて対象（人間の顔）が検出されると、表示部１５に表示中の撮影画像の中の対応する対象部位、つまり対象検出された主要被写体を含む所定範囲の画像領域（部分画像領域）を表す表示枠が表示される。この表示枠の表示処理自体は、従来の対象検出処理（顔認識処理）技術で一般に行われる処理である。

続いて、ステップＳ２において、コントローラ１２は、上述のステップＳ１の処理の結果、主要被写体が検出されたか否かの確認を行う。ここで、主要被写体が検出されなかった場合、例えば撮影画像（データ）の中に人間の顔が無かった場合（風景写真等）や撮影画像のどの領域にも合焦状態の領域が無い場合（ピンボケ状態等）等には、通常の撮影動作処理を行なうために後述のステップＳ６の処理に進む。一方、主要被写体（人間の顔）が検出されたことが確認された場合には、次のステップＳ３の処理に進む。

ステップＳ３において、コントローラ１２は、上述のステップＳ１の処理にて検出された主要被写体を含む部分領域の全てについてそれぞれの合焦状態の度合い（以下、合焦度合いという）を判定するフォーカス判定処理を実行する。その後、ステップＳ４の処理に進む。

なお、ここで、フォーカス判定処理の詳細は図３のフローチャートに示す通りである。

図３は、本実施形態のデジタルカメラにおいて実行されるフォーカス判定処理のシーケンスを示すフローチャートである。

図３のステップＳ１１において、コントローラ１２は、上述のステップＳ１の処理で検出された対象（主要被写体）を含む領域である部分画像領域（主要被写体領域）について、各領域毎に画像信号を輝度信号に変換する処理を実行する。その後、ステップＳ１２の処理に進む。

ステップＳ１２において、コントローラ１２は、各部分画像領域（主要被写体領域）において水平方向に隣り合う画素の輝度成分の差分の絶対値を累計する処理を実行する。これにより得られる累計結果の値は、各領域毎の演算結果として、例えば一時メモリ１７の所定の領域に一時的に記憶される。その後、ステップＳ１３の処理に進む。

続いて、ステップＳ１３において、コントローラ１２は、各部分画像領域（主要被写体領域）において垂直方向に隣り合う画素の輝度成分の差分の絶対値を累計する処理を実行する。これにより得られる累計結果の値は、各領域毎の演算結果として、例えば一時メモリ１７の所定の領域に一時的に記憶される。その後、ステップＳ１４の処理に進む。

ステップＳ１４において、コントローラ１２は、上述のステップＳ１２，Ｓ１３において各領域毎に算出された２つずつの累計結果、即ち各領域毎の水平成分と垂直成分との合計値を対応する部分画像領域（主要被写体領域）の画素数で除算して、これにより得られた値を合焦評価値として、各領域毎の演算結果として、例えば一時メモリ１７の所定の領域に一時的に記憶する。そして、この一連のサブルーチン処理を終了し、上述の図２に復帰する（リターン）。即ち、このフォーカス判定処理（図２のステップＳ３の処理；図３の処理）が終了すると、その後、ステップＳ４の処理に進む。

このように、本実施形態のデジタルカメラ１において、コントローラ１２は、対象検出手段で検出した対象を含む部分画像領域の合焦度合いを表す合焦評価値を算出する合焦評価値算出手段として機能する。

なお、合焦評価値としては、図３の処理シーケンスのステップＳ１４にて算出される値を合焦評価値として扱うほかにも、別の手法として、次のような手法が考えられる。

即ち、コントローラ１２は、ＡＦコントローラ１９を介してレンズ駆動部２０を制御し撮影レンズ１８（光学系）を最小焦点位置から最大焦点位置まで変化するように駆動させる。これにより、各部分画像領域毎の合焦評価値の最大値（ピーク値）が検出される。

こうして検出された各部分画像領域毎の合焦評価値の最大値について、コントローラ１２は、各合焦評価値のそれぞれが所定の値となるように正規化する。そして、コントローラ１２は、それぞれの合焦評価値を示す記号を生成する。

この場合において、コントローラ１２は焦点位置をスキャンするスキャン手段として機能すると共に、各部分画像領域毎の合焦評価値の最大値を検出する合焦最大値検出手段として機能し、また合焦評価値を示す記号を生成する記号生成手段として機能する。

ステップＳ４において、コントローラ１２は、上述のフォーカス判定処理にて得られた判定値（合焦評価値）に基いて主要被写体領域とそれに対応する合焦評価値とを表す記号のデータを生成する処理を実行する。この場合において、コントローラ１２は、上記記号データを生成する記号生成手段として機能する。なお、ここで生成される記号の詳細な形態については後述する。その後、ステップＳ５の処理に進む。

ステップＳ５において、コントローラ１２は、上述のステップＳ４の処理にて生成した記号データを、表示部１５の表示画面に表示中の画像上の対応する所定の位置に重畳させて画像として表示するための画像合成処理を実行する。この場合において、コントローラ１２は、撮影手段で撮影された画像における各部分画像領域（主要被写体領域）と各領域に対応する合焦評価値を表すために記号生成手段としてのコントローラ１２により生成された記号を、撮影画像に合成する合成手段として機能する。そして、この合成処理により生成された合成画像、即ち記号データに基づく記号が撮影画像の所定の位置（主要被写体の位置）に配置されて成る合成画像は、表示手段としての表示部１５の表示画面上に表示される。その後、ステップＳ６の処理に進む。

ステップＳ６において、コントローラ１２は、内部タイマー（特に図示せず）を参照して所定の時間が経過したか否かの確認を行なう。ここで、所定の時間が経過したことが確認された場合には、上述のステップＳ１の処理に以降の処理を繰り返す。一方、ここで、所定の時間が経過していない場合には、次のステップＳ７の処理に進む。

ステップＳ７において、コントローラ１２は、操作部１１からの出力信号を監視して操作部材のうち撮影動作実行指示を発するための操作部材であるシャッターボタンが押下されたか否かの確認を行なう。ここで、シャッターボタンの押下操作が確認されなかった場合には、上述のステップＳ６の処理に戻り、以降の処理を繰り返す。一方、シャッターボタンの押下操作が確認された場合には、次のステップＳ８の処理に進む。

そして、このステップＳ８において、コントローラ１２は本撮影動作処理を実行する。その後、一連の処理を終了する。なお、本撮影動作の処理シーケンスは、通常の撮影動作処理と同様のものであるとして、その説明は省略する。

つまり、換言すれば、上述のステップＳ５の処理にて主要被写体領域及びその領域の合焦評価値を表す記号を撮影画像に重畳表示させる合成処理の後は、シャッターボタンの押下操作がなされるのを所定の時間だけ待ち、シャッターボタンの押下操作がなされないときには、ステップＳ１〜ステップＳ５の処理を繰り返し実行する。

これにより、使用者が手動焦点調節動作を行なう等によって状況の変化があった場合にも、そのときの状況に応じて主要被写体領域とその合焦評価値を表す記号の表示が更新されることになる。

なお、図２のフローチャートでは手動焦点調節動作時の処理シーケンスとしているが、例えば自動焦点調節動作時においてもシングルＡＦモードの場合には、同様の処理の流れが適用できる。

ここで、シングルＡＦモードとは、使用者がシャッターボタンを半押し操作することで自動焦点調節動作が実行され、その半押し操作を維持している間、検出された合焦状態が固定されるようにした動作モードである。

即ち、シングルＡＦモード時には、シャッターボタンを半押し操作で使用者が所望する被写体を対象として自動焦点調節動作を実行した後、対象とした被写体の合焦状態を所定時間維持することになる。このことは、手動焦点調節動作時に使用者が所望する被写体を対象として焦点調節動作を実行し、その合焦状態を維持する操作と同様の作用となる。

このことから、手動焦点調節動作時に適用される図２のフローチャートによる処理シーケンスは、自動焦点調節動作時におけるシングルＡＦモード時にも同様に適用できることになる。

ところで、上述のステップＳ４の処理にて生成され、上述のステップＳ５の処理にて撮影画像に重畳表示される記号について、以下に詳述する。

主要被写体領域とその領域における合焦評価値を表す記号は、対象検出手段（コントローラ１２）によって撮影手段の出力に基く連続撮影画像（データ）の中から主要被写体として検出された対象（人間の顔）を含む部分画像領域（主要被写体領域）を表すための画像枠からなり、この画像枠の形態を変化させることによって、その領域における合焦評価値をも表すことができるようにしている。なお、上述の図２で説明した処理シーケンスにおいて、記号生成手段としてのコントローラ１２により生成されるのは、実際には、その主要被写体領域枠と合焦評価値とを表す記号を表示画面上に画像として表示するための記号データである。

顔認識技術を用いた対象検出手段を有する本デジタルカメラ１においては、上述したように、撮影待機状態にあるときの連続撮影画像（データ）の中から対象検出手段によって主要被写体としての対象（人間の顔）を検出し、その検出された対象を主要被写体として示すための記号を撮影画像に重畳させた形態で表示部１５の表示画面に表示する。この場合における当該記号の表示形態は、例えば図４に示すような形態となる。

図４は、本実施形態のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号（画像枠）を撮影画像に重畳させて表示部の表示画面に表示した場合の表示例を示す図である。

図４において、表示部１５の表示画面には、撮影手段の出力に基づく撮影画像が連続的に表示されているものとする。この場合において、デジタルカメラ１の撮影画角内には、主要被写体として三人の人物１００ａ，１００ｂ，１００ｃが存在している場合を考える。

本デジタルカメラ１が撮影待機状態にあって、上述のような連続撮影画像が表示部１５に表示されている状態で、対象検出手段による対象（人間の顔）の検出処理が行われると、連続撮影画像中の人物１００ａ，１００ｂ，１００ｃの顔が検出される（図２のステップＳ１の処理）。

そして、対象検出手段により検出された各人物の顔を含む部分画像領域について、上述した各種の信号処理（図１のステップＳ３，Ｓ４の処理）がなされた後、表示部１５の表示画面上には、各部分画像領域毎の画像枠２１が撮影画像に重畳した形態で表示される（図１のステップＳ５の処理）。

この場合において、画像枠２１は、上述したように主要被写体領域を表すと同時に、各領域毎に算出された合焦評価値をも表すようにしたのが本実施形態の特徴である。

即ち、本実施形態においては、各領域に対応する主要被写体（１００ａ，１００ｂ，１００ｃ）のそれぞれの合焦評価値に応じて画像枠２１を異なる形態で表示する。

各画像枠毎に合焦評価値に応じた合焦度合いを表示するための具体的な例としては、枠の表示色，枠形状，枠の表示線の太さ等を合焦評価値に応じて変化させたり、画像枠の表示手法（例えば枠表示の点灯点滅表示、枠表示の点滅速度の加減、領域内の明暗等）等を合焦評価値に応じて変化させたり、画像枠の近傍に合焦評価値の数値を文字キャラクターによって表示させたり、合焦評価値の大小を視覚的に認知し得る手段（例えばグラフ表示等）で示す等、各種の表示形態が考えられる。

また、合焦評価値に応じた合焦度合いを表示するのに際しては、例えば「合焦状態」と「非合焦状態」との二値で合焦度合いを判別するようにしてもよいし、「合焦状態」から「非合焦状態」の間を複数に分けて複数値で合焦度合いを判別するようにしてもよい。

具体的な表示形態をそれぞれ個別の例によって以下に説明する。

まず、画像枠の表示色の変化のみで合焦評価値を表す場合には、合焦評価値に基いて合焦状態にあると判別される主要被写体を含む部分画像領域の画像枠を、例えば「青色」で表示する。一方、（対象検出手段により検出されていながら所定の合焦度合いに満たないために）非合焦状態であると判別される主要被写体を含む部分画像領域の画像枠を、例えば「赤色」で表示する。

このように、「合焦状態」と判別される画像枠と、「非合焦状態」と判別される画像枠とを、それぞれ異なる色で表示することで、合焦度合いを表示する（二値表示）。

また、「合焦状態」である場合に「青色」表示とし、合焦度合いが低下するに従って段階的に青色を薄く表示するようにして、「非合焦状態」で「無色」（例えば枠線のみ、又は「白色」）表示とする（複数値表示）ようにしてもよい。

色表示における複数値表示の例としては、「合焦状態」で「青色」とし、ここから色を薄める方向で変化させて、所定の合焦度合いで「薄い青色」から「薄い赤色」に変化させ、そこから色を濃くする方向で変化させて、「非合焦状態」で「赤色」とする形態でもよい。なお、色の選択は「青」，「赤」に限られることは無いのは当然である。

次に、画像枠の表示形状の変化のみで合焦評価値を表す場合には、合焦評価値に基いて合焦状態にあると判別される主要被写体を含む部分画像領域の画像枠を、例えば「円形状」の画像枠で表示する（図５の符号２１Ａ参照）。一方、（対象検出手段により検出されていながら所定の合焦度合いに満たないために）非合焦状態であると判別される主要被写体を含む部分画像領域の画像枠を、例えば「矩形状」の画像枠で表示する（図５の符号２１Ｂ参照）
このように、「合焦状態」と判別される画像枠と、「非合焦状態」と判別される画像枠とを、それぞれ異なる形状の画像枠とすることで、合焦度合いを表示する（二値表示）。

また、「合焦状態」である場合に「円形状」とし（図６の符号２１Ａ）、合焦度合いが低下するに従って段階的に形状変化させて（図６の符号２１Ｃ）、四隅角丸の矩形状（図６の符号２１Ｄ）を経て最終的に「非合焦状態」で「矩形状」（図６の符号２１Ｂ）の画像枠とする（複数値表示）ようにしてもよい。なお、枠形状としては「円形状」，「矩形状」に限られることは無いのは当然である。

画像枠の表示線の太さを変化させることのみで合焦評価値を表す場合には、合焦評価値に基いて合焦状態にあると判別される主要被写体を含む部分画像領域の画像枠の表示線の太さを、例えば「太い線」として表示する（図７の符号２１Ｅ）。一方、（対象検出手段により検出されていながら所定の合焦度合いに満たないために）非合焦状態であると判別される主要被写体を含む部分画像領域の画像枠の表示線の太さを、前者よりも「細い線」として表示する（図７の符号２１Ｆ）。

また、「合焦状態」で「最も太い線」（図８の符号２１Ｅ）の画像枠とし、ここから合焦度合いが低下するに従って段階的に線の太さを細くなる方向に変化させて（図８の符号２１Ｇ，２１Ｈ）最終的に「非合焦状態」のときに「最も細い線」（図８の符号２１Ｆ）の画像枠とする（複数値表示）ようにしてもよい。なお、図７，図８の例では枠形状を「矩形状」として示しているが、これに限ることはない。

一方、合焦評価値の大小を視覚的に認知し得る手段で表す表示手法も考えられる。この手法の例としては、例えば図９の符号２１Ｊ，２１Ｋ，２１Ｌで示すように、合焦評価値の数値に応じた長さだけの太枠線を画像枠に沿って延びる帯状で表示する。

また、別の例としては、「合焦状態」の主要被写体領域を通常の画像枠を表示させる一方、「非合焦状態」の主要被写体領域の画像枠を点滅表示させたり（二値表示）、「合焦状態」から「非合焦状態」の間で合焦度合いが下がるに従って点滅の速度を速めて表示する等の速度制御を行なうようにしてもよい（複数値表示）。

また別の例としては、「合焦状態」の主要被写体領域内の表示は通常の明るさで表示する一方、「非合焦状態」の主要被写体領域内の表示を通常の明るさよりも暗くなるように表示したり（二値表示）、「合焦状態」から「非合焦状態」の間で合焦度合いが下がるに従って部分画像領域内の明るさを徐々に暗くなるように表示する等の部分画像領域の明るさ制御を行なうようにしてもよい（複数値表示）。

なお、上述した各表示形態の例は、それぞれ単独で適用するばかりでなく、複数の表示形態を適宜組み合わせて適用することは当然である。

例えば、図１０に示す例では、合焦評価値に基づく合焦度合いに応じて画像枠の色と枠形状を徐々に変化させるようにすると共に、画像枠の近傍に対応する合焦評価値数値の数値を表示させるようにしたものである。この場合において、数値が大きいものほど合焦度合いが大きく、数値が小さくなるのに従って合焦度合いが小さくなることを示している。

また、図１１に示す例では、合焦評価値に基づく合焦度合いに応じて画像枠の色を徐々に変化させると共に、画像枠の近傍に対応する合焦評価値数値の数値を表示させ、かつこの数値に応じたグラフ表示を行うようにしたものである。この場合においても、数値が大きいものほど合焦度合いが大きく、数値が小さくなるのに従って合焦度合いが小さくなることを示している。

上述の図２の処理シーケンスでは、本デジタルカメラ１において手動焦点調節動作を行って撮影動作を実行する際の処理の流れを示した。

これに対して、次に説明する図１２の処理シーケンスでは、本デジタルカメラ１において自動焦点調節動作のうち通常のＡＦモードで撮影を行う際の処理の流れを示している。

図１２は、本実施形態のデジタルカメラにおいて自動焦点調節動作のうち通常のＡＦモードで撮影動作を実行する際の処理の流れを示すフローチャートである。

まず、上述の手動焦点調節動作による撮影の際と略同様に、所定の手順によってデジタルカメラ１を撮影待機状態とした後、動作モードを、自動焦点調節動作のうち通常ＡＦモードに設定する。この通常ＡＦモードは、本撮影動作のための操作、例えばシャッターボタンの半押し操作等が使用者によって行なわれるまでの間、所定の時間間隔で自動焦点調節動作を繰り返すオートフォーカスモードである。

この状態にあるとき、デジタルカメラ１の表示部１５には連続撮影画像が表示されると同時に、図１２に示すフローチャートの処理シーケンスが開始される。

即ち、図１２に示すステップＳ２１において、コントローラ１２は、撮影手段が出力する撮影画像信号について対象検出処理（顔認識処理）を実行する。また、この時点でコントローラ１２は、内部タイマー（特に図示せず）のカウントを開始させる（図２のステップＳ１と同じ処理）。その後、ステップＳ２２の処理に進む。

次に、ステップＳ２２において、コントローラ１２は、上述のステップＳ２１の処理の結果、主要被写体が検出されたか否かの確認を行う。ここで、主要被写体が検出されなかった場合には、後述のステップＳ２９の処理に進む。一方、主要被写体（人間の顔）が検出されたことが確認された場合には、次のステップＳ２３の処理に進む（図２のステップＳ２と同じ処理）。

ステップＳ２３において、コントローラ１２は、上述のステップＳ２１の処理にて検出された全ての主要被写体のうちに使用者の所望する主要被写体が含まれているか否かの確認を行なう。ここで、使用者の所望する主要被写体とは、例えば予め登録しておいた主要被写体（人間の顔）であったり、撮影画像のうちから予め指定しておいた部分領域にある主要被写体等である。この場合において、所望の主要被写体が検出されていないことが確認された場合には、ステップＳ２４の処理に進み、ステップＳ２４において、コントローラ１２は、撮影画像の略中央部付近の部分画像領域に主要被写体があるものとして、当該部分画像領域を指定領域として自動的に選択し、対応する部分画像領域の表示枠を指定領域として選択された旨を表す表示に変更する。その後、ステップＳ２５の処理に進む。

一方、上述のステップＳ２３の処理において、所望の主要被写体が検出されていることが確認された場合には、ステップＳ２５の処理に進む。

ステップＳ２５において、コントローラ１２は、操作部材からの所定の指示信号を所定の時間待機する。ここで、使用者は、対象検出された複数の主要被写体がそれぞれ含まれる複数の部分画像領域のうち、どの部分画像領域を合焦動作の対象とするかの選択操作を行なう。この選択操作が完了すると、次のステップＳ２６の処理に進む。なお、ここで、使用者による選択操作が行なわれない場合でも所定時間が経過すると、次のステップＳ２６の処理に進む。

次に、ステップＳ２６において、コントローラ１２は、上述のステップＳ２５による待機時間中に操作部１１から所望の主要被写体を変更する旨を示す指示信号の確認を行なう。ここで、当該指示信号が確認されなかった場合には、ステップＳ２８の処理に進む。また、変更の指示信号が確認された場合には、ステップＳ２７の処理に進む。

ステップＳ２７において、コントローラ１２は、上述のステップＳ２５，Ｓ２６の処理を経て現在指定されている主要被写体を含む部分画像領域を指定領域としてを選択する処理を行なう。これにより、指定された主要被写体を含む部分画像領域の表示枠は、指定領域として選択された旨を表す表示になる。その後、ステップＳ２８の処理に進む。

つまり、使用者が所定の操作部材を用いて複数の表示枠（部分画像領域）のうちから所望の部分画像領域を選択指定するための操作を行うと、この操作に応じて操作部１１からは所定の選択指示信号が生じる。この指示信号を受けてコントローラ１２は、撮影画像の中から対応する部分画像領域を選択指定する。コントローラ１２は、こうして選択指定された領域をフォーカスエリアとして設定する。この場合においてコントローラ１２及び所定の操作部材を含む操作部１１は部分画像領域選択手段として機能する。

ステップＳ２８において、コントローラ１２は、操作部１１からの出力信号を監視して操作部材のうちシャッターボタンが半押し操作されたか否かの確認を行なう。ここで、シャッターボタンの半押し操作が確認されなかった場合には、上述のステップＳ２１の処理に戻り、以降の処理を繰り返す。一方、シャッターボタンの半押し操作が確認された場合には、次のステップＳ２９の処理に進む。

つまり、本デジタルカメラ１が自動焦点調節動作の通常ＡＦモードで撮影待機状態にあるときには、使用者によるシャッターボタンの半押し操作がなされるまでの間、上述のステップＳ１〜ステップＳ２７の処理を繰り返し行う。

一方、上述のステップＳ２８において、コントローラ１２がシャッターボタンの半押し操作がなされたことを確認すると、同コントローラ１２は、主要被写体が検出されているか否かの確認を行う。ここで、主要被写体が検出されていないことが確認された場合には、ステップＳ３１の処理に進み、このステップＳ３１において、コントローラ１２は、オートフォーカス手段であるＡＦコントローラ１９を介してレンズ駆動部２０を制御して撮影レンズ１８を適宜所定量だけ駆動させる通常の合焦動作処理（自動焦点調節動作処理）を実行する。その後、ステップＳ３３の処理に進む。

なお、このステップＳ３１の処理において実行される通常の合焦動作処理としては、撮影画像の略中央部付近の主要被写体が選択されているものとして、その主要被写体を含む部分画像領域、即ち設定されたフォーカスエリアを対象として自動的に合焦させる合焦動作を行う。また、これとは別に、このステップＳ３１の処理では、実際の合焦動作を行わずに現在の状態を維持するのみで、次の処理ステップに移行するようにしてもよい。

一方、主要被写体が検出されていることが確認された場合には、ステップＳ３０の処理に進み、このステップＳ３０において、コントローラ１２は、オートフォーカス手段であるＡＦコントローラ１９を介してレンズ駆動部２０を制御して撮影レンズ１８を適宜所定量だけ駆動させ、選択指定されている主要被写体を含む部分画像領域、即ち設定されたフォーカスエリアを対象として自動的に合焦させる合焦動作処理（自動焦点調節動作処理）を実行する。その後、ステップＳ３２の処理に進む。

次いで、ステップＳ３２において、コントローラ１２は、検出されている主要被写体を含む部分領域の全てについてそれぞれの合焦度合いを判定するフォーカス判定処理を実行し（図２のステップＳ３（図３の処理シーケンス）と同じ処理）、このフォーカス判定処理にて得られた合焦評価値に基いて主要被写体領域とそれに対応する合焦評価値とを表す記号のデータを生成する処理を実行し（図２のステップＳ４と同じ処理）、この処理にて生成された記号データを、表示部１５の表示画面に表示中の画像上の対応する所定の位置に重畳させて画像として表示するための画像合成処理と、この合成処理により生成された合成画像を表示部１５の表示画面上に表示する処理を実行する（図２のステップＳ５と同じ処理）。その後、ステップＳ３３の処理に進む。

ステップＳ３３において、コントローラ１２は、操作部１１からの出力信号を監視して操作部材のうちシャッターボタンが押下されたか否かの確認を行なう。ここで、シャッターボタンの押下操作が確認されなかった場合には、ステップＳ３４の処理に進む。

ステップＳ３４において、コントローラ１２は、操作部１１からの出力信号を再度監視してシャッターボタンが開放されたか否かの確認を行なう。ここで、シャッターボタンが開放されたこと、即ち同ボタンの半押し状態も解除されていることが確認された場合には、上述のステップＳ２１の処理に戻り、以降の処理を繰り返す。また、シャッターボタンが開放されていないこと、即ち同ボタンの半押し状態は維持されていることが確認された場合には、上述のステップＳ２９の処理に戻り、以降の処理を繰り返す。

一方、上述のステップＳ３３の処理において、シャッターボタンの押下操作が確認された場合には、次のステップＳ３５の処理に進む。

そして、ステップＳ３５において、コントローラ１２は本撮影動作処理を実行する。その後、一連の処理を終了する。なお、本撮影動作の処理シーケンスは、通常の撮影動作処理と同様であり、その説明は省略する。

以上説明したように上記一実施形態によれば、対象検出手段による主要被写体の検出結果によって、一つの撮影画像の中に複数の主要被写体が検出された場合に、各主要被写体についての合焦度合いを判定して、各主要被写体を含む部分画像領域と、それぞれの合焦度合いの判定結果とを同時に表示画面上に表示するようにしたので、検出された各主要被写体についての合焦度合いを容易に確認することができる。

この場合において、合焦度合いの判定結果は、表示画面上に表示される主要被写体を含む部分画像領域を示す記号、例えば円形状や矩形状の画像枠の色，形，表示枠線の太さ，枠付近に表示する数値，グラフ，点滅速度，枠内の明暗等、さまざまな表示形態を合焦度合いに応じて変化させて表示するようにしている。これにより、使用者は、表示画面を観るだけで、各部分画像領域のそれぞれの合焦度合いを視覚的に容易に確認することができる。

マニュアルフォーカスモードやシングルＡＦモード時には、使用者がフォーカス設定を変化させると、その都度、撮影画角内の主要被写体のフォーカス判定が行なわれると共に、その判定結果も即座に表示画面上に表示されるようにしたので、使用者は、より簡単に所望の部位に合焦調節を行って迅速かつ円滑に所望の主要被写体に焦点を合わせた撮影を行うことができる。

また、オートフォーカスモード時には、対象検出手段により検出された複数の主要被写体を含む部分画像領域の画像枠のうちから所望の主要被写体を含む画像枠を任意に選択指定するのみで、撮影画角内の全ての主要被写体についてのフォーカス判定が自動的に行われると共に、その結果が表示画面上に表示されるので、使用者は、複数の主要被写体についての合焦度合いを考慮して撮影を行なうことができる。また、その結果が使用者の意にそぐわない場合には、使用者は、別の撮影方法等を考慮することができるので、無駄な撮影を行なうことがなく効率的に運用することができる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の一実施形態のデジタルカメラにおける内部構成のうち電気的な構成の主要部を示すブロック構成図。 図１のデジタルカメラにおいて手動焦点調節動作を行って撮影動作を実行する際の処理の流れを示すフローチャート。 図１のデジタルカメラにおいて実行されるフォーカス判定処理のシーケンスを示すフローチャート。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号（画像枠）を撮影画像に重畳させて表示部の表示画面に表示した場合の表示例を示す図。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号（画像枠）と、その表示形状の変化のみで合焦評価値を表す場合の二値表示の例を示す図。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号（画像枠）と、その表示形状の変化のみで合焦評価値を表す場合の複数値表示の例を示す図。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号（画像枠）と、その画像枠の表示線の太さを変化させることのみで合焦評価値を表す場合の二値表示の例を示す図。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号（画像枠）と、その枠表示線の太さを変化させることのみで合焦評価値を表す場合の複数値表示の例を示す図。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号の画像枠を用いて合焦評価値の大小を視覚的に認知するグラフ表示の例を示す図。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号の画像枠と合焦評価値とを複数の表示形態の組み合わせにより表示する一例を示す図。 図１のデジタルカメラにおいて、対象検出手段によって検出された対象を含む部分画像領域を示す記号の画像枠と合焦評価値とを複数の表示形態の組み合わせにより表示する別の例を示す図。 図１のデジタルカメラにおいて自動焦点調節動作のうち通常のＡＦモードで撮影動作を実行する際の処理の流れを示すフローチャート。

符号の説明

１……デジタルカメラ
１１……操作部
１２……コントローラ
１３……撮像部
１４……処理部
１５……表示部
１６……画像記憶部
１７……一時メモリ
１８……撮影レンズ
１９……ＡＦコントローラ
２０……レンズ駆動部
２１，２１Ａ，２１Ｂ，２１Ｃ，２１Ｄ，２１Ｅ，２１Ｆ，２１Ｇ，２１Ｈ，２１Ｊ，２１Ｋ，２１Ｌ……画像枠
１００ａ，１００ｂ，１００ｃ……主要被写体（人物）

Claims (8)

1. 光学系により結像した被写体像を撮影しデジタル画像に変換して出力する撮影手段と、
   上記被写体像の結像位置を調節する焦点調節手段と、
   撮影待機状態において上記撮影手段が出力する連続撮影画像中から所定の対象を検出する対象検出手段と、
   上記対象検出手段で検出した対象を含む部分画像領域毎にその部分画像領域の合焦度合いを表す合焦評価値を算出する合焦評価値算出手段と、
   上記合焦評価値算出手段で算出された合焦評価値を示す記号を生成する記号生成手段と、
   上記撮影手段で撮影された画像の上記部分画像領域の各々に、各部分画像領域について算出され上記記号生成手段で生成された合焦評価値を表す上記記号を合成する合成手段と、
   上記合成手段で上記記号が合成された撮影画像を表示する表示手段と、
   を有することを特徴とするデジタルカメラ。
2. 上記焦点調節手段は、使用者の操作に応じて上記被写体像の結像位置を調節可能であることを特徴とする請求項１に記載のデジタルカメラ。
3. 上記部分画像領域が複数の場合には、使用者の操作に応じてそれらの部分画像領域の一つを選択する部分画像領域選択手段と、上記撮影画像に設定されるフォーカスエリアについて自動的に合焦させるオートフォーカス手段とを、さらに有し、
   使用者が上記複数の部分画像領域のうちの一つを選択したときには、その選択された部分画像領域がフォーカスエリアに設定され、上記オートフォーカス手段により自動焦点調節動作が実行されることを特徴とする請求項１又は請求項２のいずれかに記載のデジタルカメラ。
4. 光学系を駆動して最小焦点位置から最大焦点位置まで変化させるスキャン手段と、
   上記スキャン手段で最小焦点位置から最大焦点位置まで光学系を駆動させながら、上記部分画像領域のそれぞれの合焦評価値の最大値を検出する合焦最大値検出手段を、さらに有し、
   上記記号生成手段は、上記部分画像領域のそれぞれの合焦評価値の最大値が所定の値となるように正規化した合焦評価値を示す記号を生成することを特徴とする請求項１〜請求項３のうちのいずれか一つに記載のデジタルカメラ。
5. 上記記号は、上記対象検出手段で検出された対象を囲む枠であって、上記合焦評価値をその枠の色又は形状で表すことを特徴とする請求項３又は請求項４のいずれかに記載のデジタルカメラ。
6. 上記記号は、上記対象検出手段で検出された対象を囲む枠であって、上記合焦評価値をその枠に沿って伸縮する帯で表すことを特徴とする請求項３又は請求項４のいずれかに記載のデジタルカメラ。
7. 上記記号は、上記合焦評価値を表す文字キャラクターであることを特徴とする請求項３又は請求項４のいずれかに記載のデジタルカメラ。
8. 上記対象検出手段が検出する所定の対象は、人間の顔であることを特徴とする請求項１〜請求項７のうちのいずれか一つに記載のデジタルカメラ。

Images