JP2010057168A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】 シーンの認識結果を安定して得ることが可能な撮像装置及び撮像方法を提供する。
【解決手段】 デジタルカメラ１は、シーン認識履歴における認識回数（認識頻度）及び認識結果の新しさに基づいて現在撮影中のシーンＳＲの判定を行う。図３（ａ）に示すように、デジタルカメラ１のＲＡＭ６９上には、単独シーン認識結果を順番に格納するための格納領域Ａ［０］，Ａ［１］，Ａ［２］，…が設けられる。シーン認識履歴が更新されると、シーン認識履歴がＣＰＵ７５に読み込まれ、シーンごとの認識回数（頻度）が集計される（図３（ｄ））。そして、認識回数が最大のシーンが現在撮影中のシーンＳＲと判定される。図３に示す例では、「２」の「風景」と「３」の「夜景」とがシーン認識履歴中に２回登場し（最大頻度となる）、「２」の値の方がより新しい側の格納領域に格納されているため、トータルシーン認識結果はＳＲ＝２となり、撮影モードが風景モードに設定される。
【選択図】 図３

Description

本発明は撮像装置及び撮像方法に係り、特に高精度で撮影シーンの認識が可能な撮像装置及び撮像方法に関する。

特許文献１には、デジタルスチルカメラにおいて、設定された撮影モードがシーンに対して適切であるか否かを、デジタル画像信号やＥＶ値に基づいて判定することが開示されている。

特許文献２には、顔認識手段と状態検出手段の出力情報に基づいてカメラの撮影モードを設定する撮影モード自動設定カメラが開示されている。特許文献２に記載のカメラは、被写体の動き、撮像倍率又は被写体距離の出力情報に基づいてカメラ撮影モードを自動設定するものである。

特開２００３−２４４５３０号公報 特開２００３−３４４８９１号公報

従来、撮像装置において、画像信号やＥＶ値に基づいてシーンを認識することが行われている。特許文献１に記載のデジタルスチルカメラは、Ｓ１オン時（シャッターボタン半押し時）の画像信号を用いて、撮影モードの設定が適切か否かを判定するように構成されている。また、特許文献２に記載のカメラは、シャッタ釦の第一ストロークがオンしたときの画像信号を用いて撮影モードの設定を行うように構成されている。即ち、特許文献１及び２に記載の技術はいずれもＳ１オン時の画像信号で撮影モードの判定を１回行うだけであるため、画像信号やＥＶ値によっては、シーンの認識結果が変化しやすくなり、安定したシーンの認識結果を出力することが困難であった。

本発明はこのような事情に鑑みてなされたもので、シーンの認識結果を安定して得ることが可能な撮像装置及び撮像方法を提供することを目的とする。

上記課題を解決するために、本発明第１の態様に係る撮像装置は、撮影シーンの情報である撮影情報を取得する撮影情報取得手段と、前記撮影情報取得手段により取得した前記撮影情報から撮影シーンを認識する単独シーン認識を行う単独シーン認識手段と、前記単独シーン認識手段による単独シーン認識結果を最新の所定個数分シーン認識履歴として登録するシーン認識履歴登録手段と、前記シーン認識履歴登録手段により登録されたシーン認識履歴に基づいて撮影シーンを認識するトータルシーン認識を行うトータルシーン認識手段と、前記トータルシーン認識手段による前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御及び情報記録制御のうち少なくとも１つを行う制御手段と、を備えたことを特徴とする。

本発明第２の態様に係る撮像装置は、撮影シーンの情報である撮影情報を取得する撮影情報取得手段と、前記撮影情報取得手段により取得された撮影情報を最新の所定個数分撮影情報履歴として登録する撮影情報履歴登録手段と、前記撮影情報履歴登録手段に登録された撮影情報履歴に基づいて撮影シーンを認識するトータルシーン認識を行うトータルシーン認識手段と、前記トータルシーン認識手段による前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御及び情報記録制御のうち少なくとも１つを行う制御手段とを備えたことを特徴とする。

本発明第３の態様に係る撮像装置は、上記第１の態様において、前記トータルシーン認識手段は、前記シーン認識履歴登録手段に登録された前記シーン認識履歴の全部もしくは一部の範囲において、最大頻度の単独シーン認識結果が示す撮影シーンを検出し、当該検出した撮影シーンを前記トータルシーン認識結果とすることを特徴とする。

本発明第４の態様に係る撮像装置は、上記第３の態様において、前記トータルシーン認識手段は、前記最大頻度の単独シーン認識結果が示す撮影シーンが複数検出された場合には、最新側の最大頻度の単独シーン認識結果が示す撮影シーンを前記トータルシーン認識結果とすることを特徴とする。

本発明第５の態様に係る撮像装置は、上記第１の態様において、前記トータルシーン認識手段は、前記シーン認識履歴登録手段に登録された前記シーン認識履歴中の各単独シーン認識結果に対し、最新の単独シーン認識結果ほど重みが大きくなる重み付けを行う重み付け設定手段と、前記重み付け設定手段による重み付け後の単独シーン認識結果別の累積スコアを算出する算出手段とを有し、前記算出手段により算出した累積スコアが最大となる単独シーン認識結果を前記トータルシーン認識結果とすることを特徴とする。

本発明第６の態様に係る撮像装置は、上記第２の態様において、前記トータルシーン認識手段は、前記撮影情報履歴登録手段に登録された前記撮影情報履歴から代表値を算出する算出手段と、前記算出手段により算出された代表値に基づいて撮影シーンを認識する認識手段とを有することを特徴とする。

本発明第７の態様に係る撮像装置は、上記第６の態様において、前記算出手段は、前記撮影情報履歴登録手段に登録された前記撮影情報履歴の平均値、前記撮影情報履歴のうちの最新の情報ほど大きくなる重みを付けた重み付け平均値、前記撮影情報履歴のメディアン値、及び前記撮影情報履歴のうちの最大値側のＮ（Ｎ：０以上の整数）個分、最小値側のＭ（Ｍ：０以上の整数であって、Ｎ＝Ｍ、Ｎ≠Ｍを含む）個分の撮影情報を除いた残り情報の平均値のうちのいずれか１つを前記代表値として算出することを特徴とする。

本発明第８の態様に係る撮像装置は、上記第１から第７の態様において、前記撮影情報取得手段は、撮影シーン中に人物の顔があるか否かを示す情報、被写体距離を示す情報、被写体の明るさを示す情報、及び補助光の検出情報のうちの少なくとも１つの情報を取得することを特徴とする。

本発明第９の態様に係る撮像装置は、上記第８の態様において、前記撮影情報取得手段は、前記被写体距離を示す情報として、前記被写体に合焦しているときのフォーカス位置の情報を取得することを特徴とする。

本発明第１０の態様に係る撮像装置は、上記第１、３、４、５、８及び９の態様において、シャッタ半押し時に本露光用の測光及び測距を指示し、シャッタ全押し時に本露光を指示するシャッタボタンを更に備え、前記シーン認識履歴登録手段に登録される前記シーン認識履歴には、前記シャッタ半押し前の単独シーン認識結果の個数と、前記シャッタ半押し後の単独シーン認識結果の個数とが個別に設定されることを特徴とする。

本発明第１１の態様に係る撮像装置は、上記第２、６、７、８及び９の態様において、シャッタ半押し時に本露光用の測光及び測距を指示し、シャッタ全押し時に本露光を指示するシャッタボタンを備え、前記撮影情報履歴登録手段に登録される前記撮影情報履歴は、前記シャッタ半押し前の撮影情報の個数と、前記シャッタ半押し後の撮影情報の個数とが個別に設定されることを特徴とする。

本発明第１２の態様に係る撮像装置は、上記第１から１１の態様において、前記トータルシーン認識手段によるトータルシーン認識結果に応じて撮影モードを設定する撮影モード設定手段を更に有し、前記制御手段は、前記設定された撮影モードに基づいて前記撮影制御を行うことを特徴とする。

本発明第１３の態様に係る撮像装置は、上記第１から第１２の態様において、シャッタ半押し時に本露光用の測光及び測距を指示し、シャッタ全押し時に本露光を指示するシャッタボタンを更に備え、前記撮影情報取得手段は、前記シャッタ半押し後は、本露光用の被写体距離を示す情報、及び本露光用の被写体の明るさを示す情報のみを取得する。

本発明第１４の態様に係る撮像方法は、撮影シーンの情報である撮影情報を取得する撮影情報取得ステップと、前記撮影情報取得ステップにより取得した前記撮影情報から撮影シーンを認識する単独シーン認識ステップと、前記単独シーン認識ステップにおいて認識された単独シーン認識結果を最新の所定個数分シーン認識履歴としてシーン認識履歴登録手段に登録するシーン認識履歴登録ステップと、前記シーン認識履歴登録手段に登録された前記シーン認識履歴に基づいて撮影シーンを認識するトータルシーン認識ステップと、前記トータルシーン認識ステップの前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御及び情報記録制御のうち少なくとも１つを行う制御ステップとを備えたことを特徴とする。

本発明第１５の態様に係る撮像方法は、撮影シーンの情報である撮影情報を取得する撮影情報取得ステップと、前記撮影情報取得ステップにおいて取得された前記撮影情報を最新の所定個数分撮影情報履歴として撮影情報履歴登録手段に登録する撮影情報履歴登録ステップと、前記撮影情報履歴登録手段に登録された前記撮影情報履歴に基づいて撮影シーンを認識するトータルシーン認識ステップと、前記トータルシーン認識ステップの前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御および情報記録制御のうち少なくとも１つを行う制御ステップとを備えたことを特徴とする。

本発明によれば、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値を含む撮影情報の履歴、又は上記撮影情報に基づくシーン認識結果（単独シーン認識結果）の履歴を使ってシーン認識を行うことにより、安定したシーン認識結果を取得することが可能になる。

本発明の第１の実施形態に係る撮像装置（デジタルカメラ）を示すブロック図 トータルシーン認識処理を模式的に示す図 トータルシーン認識処理を模式的に示す図 シーン認識結果の表示の例 本発明の第１の実施形態に係るシーン認識処理を示すフローチャート 単独シーン認識処理を示すフローチャート シーンの認識処理を示すフローチャート シーンの認識処理を示すフローチャート シーンの認識処理を示すフローチャート シーンの認識処理を示すフローチャート シーンの認識処理を示すフローチャート 本発明の第２の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャート 本発明の第２の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を示すフローチャート 本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１前）を模式的に示す図 本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を模式的に示す図 本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャート 本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を示すフローチャート 本発明の第４の実施形態に係るトータルシーン認識処理を模式的に示す図 本発明の第４の実施形態に係るトータルシーン認識処理を示すフローチャート 本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１前）を模式的に示す図 本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を模式的に示す図 本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャート 本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を示すフローチャート 本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１前）を模式的に示す図 本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を模式的に示す図 本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャート 本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を示すフローチャート

以下、添付図面に従って本発明に係る撮像装置及び撮像方法の好ましい実施の形態について説明する。

［第１の実施形態］
本実施形態に係る撮像装置は、撮影時に被写体の状況（撮影シーン、または単にシーンともいう）を認識するシーン認識を実行し、撮影モードを設定する。認識されるシーンとして、例えば、人物、風景、夜景、接写、スポーツ、花火、夕焼け、スノー、ビーチ、水中又は文字が挙げられる。より詳しくは、撮像装置は、撮影シーンの情報である撮影情報に基づいてシーン認識を複数回実行し（後述の単独シーン認識）、シーン認識を実行する都度、そのシーン認識結果の履歴を記録する。そして、そのシーン認識結果の履歴を考慮して撮影時のシーンの認識（後述のトータルシーン認識）及び撮影モードの設定を行う。

図１は、本発明の第１の実施形態に係る撮像装置（デジタルカメラ）を示すブロック図である。

本実施形態に係る撮像装置（以下、デジタルカメラ１という。）は、撮影により取得した画像データを、Ｅｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディアなどの記録部７０へ記録するものである。

図１に示すように、デジタルカメラ１は、操作部１１と、ユーザによる操作部１１への操作内容を解釈して各部を制御する制御回路７４とを有している。

操作部１１は、画像を撮影する撮影モードと、記録部７０に記録された画像を読み出して表示部７１に表示する再生モードとの間で動作モードを切り替える動作モードスイッチ、メニュー／ＯＫボタン、ズーム／上下矢印レバー、左右矢印ボタン、Ｂａｃｋ（戻る）ボタン、表示切替ボタン、シャッタボタン、電源スイッチを含んでいる。

制御回路７４は、情報処理を行うＣＰＵ７５、情報処理を規定したプログラム、ファームウェア、プログラムでの各種判定に用いる閾値その他の定数などを記録したＲＯＭ６８、情報処理に必要な変数やデータなどを格納するＲＡＭ６９を備えている。

ＣＰＵ７５は、操作部１１やＡＦ処理部６２等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。ＲＯＭ６８は、デジタルカメラ１において設定される各種定数、およびＣＰＵ７５が実行するプログラム等を格納する。ＲＡＭ６９は、ＣＰＵ７５がプログラムの実行に必要なデータを一時的に格納する。

レンズ２０は、フォーカスレンズおよびズームレンズを有している。レンズ２０は、レンズ駆動部５１によって光軸方向に移動可能である。レンズ駆動部５１は、ＣＰＵ７５から出力されるフォーカス駆動量データに基づいて、フォーカスレンズの位置を制御する。また、レンズ駆動部５１は、操作部１１のズーム／上下矢印レバーの操作量データに基づいてズームレンズの位置を制御する。

また、絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。絞り駆動部５５は、ＣＰＵ７５から出力される絞り値データに基づいて絞り径の調整を行う。

レンズ２０、絞り５４を含む撮像光学系の後方には、撮像素子（ＣＣＤ）５８が配置されている。なお、撮像素子５８としては、ＣＣＤの代わりにＣＭＯＳイメージセンサを用いることもできる。

撮像素子５８は、多数の受光素子が２次元的に配列された光電面を有している。撮像光学系を通過した被写体光はこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。撮像素子５８は、撮像素子制御部５９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、撮像素子制御部５９から与えられる電子シャッタ駆動信号によって決定される。また、撮像素子５８は、あらかじめ定められた大きさのアナログ撮像信号が得られるように、撮像素子制御部５９によりゲインが調整されている。

撮像素子５８から取り込まれたアナログ撮影信号は、アナログ信号処理部６０に入力される。アナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）とからなる。アナログ信号処理部６０におけるＲ、Ｇ、Ｂ信号の増幅ゲインは、撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ７５は、この増幅ゲインを調整することにより撮影感度を設定する。

Ａ／Ｄ変換部６１は、アナログ信号処理部６０により処理されたアナログ画像信号をデジタル画像データに変換する。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

制御回路７４は、発振子（不図示）から供給される発振信号を逓倍又は分周してタイミング信号を発生させて撮像素子制御部５９に入力することにより、操作部１１のシャッタボタンの操作時における撮像素子５８からの電荷の取込みおよびアナログ信号処理部６０の処理のタイミングを調整している。

制御回路７４は、撮像素子５８で生成された画像信号の輝度を検出することにより測光を行う。制御回路７４は、被写界輝度が低い場合、自動焦点調節（ＡＦ）時（シャッタボタン半押し時（Ｓ１オン））に補助光制御部２５に指示して補助光発光部２６（例えば、ＬＥＤ）から補助光を照射させる。

Ａ／Ｄ変換部６１から出力されたＲ，Ｇ，Ｂの各画像データ（ＣＣＤ−ＲＡＷデータ）は、デジタル信号処理部６５によって、ホワイトバランス（ＷＢ）調整、ガンマ補正、およびＹＣ処理が施される。処理後の画像データは、メモリ６６に書き込まれる。

メモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。

表示部７１は、例えば、液晶モニタを含んでおり、撮影モード設定以後から本撮影指示がされるまでの間メモリ６６に逐次格納された画像データをライブビュー画像（スルー画像）として液晶モニタに表示させたり、再生モード時に記録部７０に保存されている画像データを液晶モニタに表示させる。なお、スルー画像とは、ユーザがリアルタイムに撮影画角や状況などを確認することが出来るように、撮影モードが選択されている間、所定の時間間隔で撮像素子５８により撮像された被写体を示す画像信号に基づいて表示部７１に表示される画像をいう。

本実施形態のデジタルカメラ１は、動作モードが撮影モードに設定されると、画像の撮像を開始し、ライブビュー画像（スルー画）が表示部７１の液晶モニタに表示される。スルー画表示時には、ＣＰＵ７５は、後述のＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３による演算結果に基づいて、コンティニュアスＡＥ（ＣＡＥ）及びコンティニュアスＡＦ（ＣＡＦ）を実行する。ここで、コンティニュアスＡＥとは、スルー画撮影の継続中に繰り返し露出値の演算を行って、連続的に撮像素子（ＣＣＤ）５８の電子シャッタ機能及び／又は絞り５４を制御する機能である。コンティニュアスＡＦとは、スルー画撮影の継続中に繰り返しＡＦ評価値の演算を行って、連続的にフォーカスレンズ位置を制御する機能である。撮影モード時にシャッタボタンが半押しされると（Ｓ１オン）、デジタルカメラ１は、ＡＥ処理（Ｓ１ＡＥ）及びＡＦ処理（Ｓ１ＡＦ）を実行し、ＡＥロック及びＡＦロックを実行する。

以下、ＡＥ処理及びＡＦ処理について説明する。撮像素子５８から出力された画像信号はＡ／Ｄ変換後にバッファメモリ（不図示）を介してＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３に入力される。

ＡＥ／ＡＷＢ処理部６３は、１画面を複数の分割エリア（例えば、８×８又は１６×１６）に分割し、この分割エリアごとにＲ、Ｇ、Ｂ信号を積算し、その積算値をＣＰＵ７５に提供する。ＣＰＵ７５は、ＡＥ／ＡＷＢ処理部６３から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。ＣＰＵ７５は、上記露出値と所定のプログラム線図に従って、絞り値とシャッタスピードを決定し、これに従い撮像素子５８の電子シャッタ機能及び絞り５４を制御して適正な露光量を得る。

更に、ＣＰＵ７５は、フラッシュ発光モードがオンに設定された場合にフラッシュ制御部７３にコマンドを送って動作させる。フラッシュ制御部７３は、フラッシュ発光部（放電管）２４を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ７５からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部２４への放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光手段としては、放電管に代えて発光ダイオード（ＬＥＤ）を用いることも可能である。

また、ＡＥ／ＡＷＢ処理部６３は、自動ホワイトバランス調整時に、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ７５に提供する。ＣＰＵ７５は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランスゲイン）を制御し、各色チャンネルの信号に補正をかける。

本実施形態に係るデジタルカメラ１におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズを移動させるコントラストＡＦが適用される。即ち、ＡＦ処理部６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＦ処理部６２により求められた積算値のデータはＣＰＵ７５に通知される。ＣＰＵ７５は、レンズ駆動部５１を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、演算した焦点評価値が極大となるレンズ位置を合焦位置として決定する。そして、ＣＰＵ７５は、レンズ駆動部５１を制御して上記合焦位置にフォーカスレンズを移動させる。なお、コンティニュアスＡＦ（ＣＡＦ）時には、Ｓ１ＡＦのときに比べて、合焦位置のサーチ範囲（ＡＦサーチ時のフォーカスレンズの移動範囲）が狭く、ＡＦ検出ポイントの数が少なくなっている。また、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１のユーザがマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、ユーザがメニュー／ＯＫボタン等の操作部１１から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。

シャッタボタンが半押し（Ｓ１オン）された後に全押し（Ｓ２オン）されると、撮像素子５８から記録用の本画像データが取り込まれる。この本画像データは、シャッタボタンが全押しされることによって実行される本撮影時に撮像素子５８から取り込まれ、アナログ信号処理部６０、Ａ／Ｄ変換部６１、デジタル信号処理部６５経由でメモリ６６に格納された画像データである。デジタル信号処理部６５は、本画像の画像データに対して、ガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ変換処理を行う。本画像の画素数の上限は、撮像素子５８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびシャッタボタン半押し時に表示する画像の画像数は、例えば、本画像よりも少ない画素数、例えば、本画像の１／１６程度の画素数で取り込まれる。

また、デジタル信号処理部６５は、フラッシュ発光部２４の発光量が通常の撮影時よりも小さくされた場合には、本画像における顔領域の輝度を求め、輝度が所定のしきい値Ｔｈ１よりも小さい場合には顔領域の輝度をしきい値Ｔｈ１に調整する処理を行う。

圧縮伸張処理部６７は、補正・変換処理が行われた本画像の画像データに対して、例えば、所定の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルは、記録部７０に記録される。この画像ファイルには、例えば、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮伸張処理部６７は、再生モードの場合に、記録部７０から読み出された画像ファイルに対して伸張処理を行う。伸張後の画像データは表示部７１の液晶モニタに表示される。

顔検出処理部８０は、スルー画像、シャッタボタン半押し時に表示する画像、あるいは本画像から人物の顔を検出する。具体的には、顔に含まれる顔の特徴を有する領域（例えば、肌色の領域を有する、肌色領域の中に黒色領域（目）を有する、肌色領域が顔の形状を有する等）を顔領域として検出する。

［シーン認識処理］
本実施形態に係るデジタルカメラ１（ＣＰＵ７５）は、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値を含む撮影情報（撮影シーンの情報）を用いてシーン認識（以下、単独シーン認識という。）を行い、「ＡＵＴＯ」、「人物」、「風景」、「夜景」又は「接写」等の単独シーン認識結果がＲＡＭ６９に記録される。この単独シーン認識は、撮影モード時に所定のタイミングで繰り返し実行され、例えば、最新の単独シーン認識の結果が所定回数分、シーン認識履歴として記録される。また、シーン認識履歴は、例えば、デジタルカメラ１の電源オフ時又は動作モードの切り替え時、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値が所定値以上変動してシーンが変動したとＣＰＵ７５が判定した場合に削除されるようにしてもよい。

更に、デジタルカメラ１（ＣＰＵ７５）は、ＲＡＭ６９に記録された単独シーン認識結果の履歴（シーン認識履歴）に基づいて現在のシーンＳＲを判定（認識）し、各シーンを撮影するのに好適な撮影モードの設定を行う。以下、シーン認識履歴に基づくシーンの判定をトータルシーン認識という。

本実施形態のデジタルカメラ１は、トータルシーン認識において、シーン認識履歴における認識回数（認識頻度）及び認識結果の新しさに基づいて現在撮影中のシーンＳＲの判定を行う。図２及び図３は、トータルシーン認識処理を模式的に示す図である。

図２（ａ）に示すように、デジタルカメラ１のＲＡＭ６９上には、単独シーン認識結果を順番に格納するための格納領域Ａ［０］，Ａ［１］，Ａ［２］，…が設けられる。図２に示す例では、各シーンは所定の数字（以下、シーンＩＤという。）で表されている。シーン「ＡＵＴＯ」の場合には「０」、「人物」の場合には「１」、「風景」の場合には「２」、「夜景」の場合には「３」、「接写」の場合には「４」がＲＡＭ６９の格納領域Ａ［ｉ］（ｉ＝０，１，２，…）に書き込まれる。単独シーン認識結果は、格納領域Ａ［０］のものが最新であり、Ａ［１］，Ａ［２］，…の順に古くなる。

図２（ｂ）に示すように、単独シーン認識が実行されると、ＲＡＭ６９上のシーン認識履歴の格納領域Ａ［０］，Ａ［１］，Ａ［２］，…がスライドし、Ａ［０］→Ａ［１］，Ａ［１］→Ａ［２］，Ａ［２］→Ａ［３］，…となり、最新の単独シーン認識結果の格納領域Ａ［０］が空き領域になる。そして、図２（ｃ）に示すように、空き領域Ａ［０］に最新の単独シーン認識結果が書き込まれる。

次に、トータルシーン認識を行う際、シーン認識履歴がＣＰＵ７５に読み込まれ、シーンごとの認識回数（頻度）が集計される（図２（ｄ））。そして、認識回数が最大のシーンが現在撮影中のシーンＳＲと判定される。図２に示す例では、シーン認識履歴中に３回登場する「３」の「夜景」が最大頻度となる。ＣＰＵ７５は、トータルシーン認識結果をＳＲ＝３として、撮影モードを夜景モードに設定する。これにより、夜景モードの撮影条件及び画像処理の条件に従って画像の撮影、記録が実行可能になる。

一方、図３に示す例では、「２」の「風景」と「３」の「夜景」とがシーン認識履歴中に２回登場する（最大頻度となる）。この場合、単独シーン認識結果の新しさに基づいて、トータルシーン認識が行われる。図３に示す例では、「２」の値の方がより新しい側の格納領域に格納されているため、ＣＰＵ７５は、トータルシーン認識結果をＳＲ＝２として、撮影モードを風景モードに設定する。

トータルシーン認識処理が終了すると、図４（ａ）に示すように、表示部７１の液晶モニタには、トータルシーン認識結果ＳＲを示す記号Ｃ１０（例えば、「ＡＵＴＯ」、「人物」、「風景」、「夜景」及び「接写」等の文字、アイコン）が、スルー画像あるいはシャッタボタン全押し後の記録用画像に重畳して表示される。図４（ａ１）に示すように、トータルシーン認識により判定されたシーンがデジタルカメラ１において予め定義したシーンに合致した場合には、当該シーンを表す記号Ｃ１０が表示部７１の液晶モニタに表示される。一方、図４（ａ２）に示すように、トータルシーン認識により判定されたシーンがデジタルカメラ１において予め定義したシーンに合致しない場合には、「ＡＵＴＯ」が表示部７１の液晶モニタに表示される。なお、トータルシーン認識結果ＳＲを示す記号Ｃ１０は、図示しないＯＳＤ回路によって生成される。これにより、ユーザは、撮ろうとしている、もしくは撮ったシーンが、どのようなシーンであり、撮影モードがどのモードに設定されているかを認識できる。

なお、デジタルカメラ１が音声処理回路やスピーカが備えている場合には、トータルシーン認識結果ＳＲに対応する報知音を出力するようＣＰＵ７５が制御してもよい。

また、図４（ｂ）に示すように、「自動シーン認識ＯＦＦ」が設定されている場合には、トータルシーン認識結果を示す記号は表示されない。

デジタルカメラ１は、上記撮影モードごとに、好適な絞り値、シャッタ速度、フォーカスレンズ位置及びズームレンズ位置等の撮影条件、及び画像処理の設定を記録しており、トータルシーン認識結果ＳＲに応じて撮影モードが設定されると、上記撮影条件及び画像処理の設定に従って画像の撮影、記録を行う。

具体的には、撮影モードは、例えば、人物を撮影するための人物モード、日中における遠方の風景を撮影するための風景モード、夜間における遠方の風景を撮影するための夜景モード、接写を行うための接写モード、動きのある被写体を撮影するためのスポーツモード、及び文字を撮影するためのテキストモードである。デジタルカメラ１は、トータルシーン認識結果ＳＲが夜景であれば、撮影モードを夜景モードに設定する。夜景モードでは、合焦位置をテレ端側（例えば、無限遠）に設定して長時間露光を許可する設定となる（例えば、ＩＳＯ感度が４００から８００以上、シャッタスピードが１／１．６秒以上などに設定される）。あるいは、トータルシーン認識結果ＳＲが接写であれば、デジタルカメラ１は、撮影モードを接写モードに設定して、絞り径を開き、フラッシュ発光部２４の発光を禁止する。また、接写モードの場合には、合焦位置の検索は、近い位置（Ｎｅａｒ側）を開始点として遠い位置（ＩＮＦ側）に向かって行うとよい。あるいは、トータルシーン認識結果ＳＲが風景であれば、デジタルカメラ１は、撮影モードを風景モードに設定して、測光モードとして「平均測光」を行い、分割測光を行わせる。また、風景モードの場合には、デジタルカメラ１は、合焦位置をテレ端側（例えば、無限遠）に設定して彩度やエッジ部を強調する画像処理を行う。あるいは、トータルシーン認識結果ＳＲが人物であれば、デジタルカメラ１は、撮影モードを人物モードに設定して、ＡＦ処理部６２は、ＡＦ評価値の算出領域を、顔検出処理部８０の検出した顔領域とする。また、人物モードの場合には、デジタルカメラ１は、肌色部分をなめらかにして明度を上げる画像処理を行う。トータルシーン認識結果ＳＲがＡＵＴＯであれば、ＡＦ、ＡＥ及びＡＷＢの設定がデフォルトの設定となり、シャッタスピード、絞り値等の撮影条件が自動で設定される。スポーツモードでは、デジタルカメラ１は、被写体ブレを回避するためにシャッタ速度を高速化して感度を上げる。テキストモードでは、デジタルカメラ１は、撮影画像をモノトーン化する画像処理を行う。

上記撮影モードの設定は、画像ファイルの付加情報（例えば、Ｅｘｉｆタグ情報）として記録される。記録部７０がプリンタにセットされると、プリンタは、記録部７０から画像ファイルを読み出して、該画像ファイルから撮影モードの設定を取得する。これにより、撮影時の撮影モードの設定に適したプリント条件で画像をプリントアウトすることが可能になる。

図５は、本発明の第１の実施形態に係るシーン認識処理を示すフローチャートである。

まず、ＣＰＵ７５により、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値のような撮影情報が取得され、上記の情報を用いてシーン認識（単独シーン認識）が行われる（ステップＳ１０）。

次に、メモリ（ＲＡＭ６９）上のシーン認識履歴の格納領域がスライドし、単独シーン認識結果の最新の値を格納する空き領域が設けられる（ステップＳ１２）。そして、この最新の値の格納領域に、ステップＳ１０における最新のシーン認識結果が書き込まれる（ステップＳ１４）。

次に、トータルシーン認識において、シーン認識履歴が読み込まれて（ステップＳ１６）、シーン認識履歴に基づいて、現在のシーンＳＲが判定される（ステップＳ１８）。そして、このシーンＳＲの判定結果に応じて撮影モードの設定が行われる。ステップＳ１８では、例えば、シーン認識履歴における認識回数（認識頻度）及び認識結果の新しさに基づいて現在撮影中のシーンＳＲが判定される。

図６は、単独シーン認識処理を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ７１では、ＲＡＭ６９に格納された、シーン依存サーチ（ステップＳ８０以降の処理）を実施するフラグ(E_AUTOSR_SEARCH_TYPE)が０であるか否かを判断する。“Ｙｅｓ”の場合はＳ８０、“Ｎｏ”の場合はＳ７２に進む。なお、E_AUTOSR_SEARCH_TYPEの値は操作部１１から任意に設定できるものとする。

Ｓ７２では、ＲＡＭ６９のシーン認識結果ＳＲにＡＵＴＯを設定する。

Ｓ７３では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。E_AUTOSR_MODULE1は０〜４のうちのいずれかの整数である。そして、module[i]に相当するシーン判定（認識）サブルーチンを実施する。module[0]は何もしない。module[1]は後述の人物判定を行う。module[2]は後述の風景判定を行う。module[3]は後述の夜景判定を行う。module[4]は後述の接写判定を行う。

Ｓ７４では、Ｓ７３でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７５に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ７５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。E_AUTOSR_MODULE2は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ７６では、Ｓ７５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ７７では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。E_AUTOSR_MODULE3は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ７８では、Ｓ７７でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７９に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ７９では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。E_AUTOSR_MODULE3は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2およびE_AUTOSR_MODULE3と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。E_AUTOSR_MODULE1、E_AUTOSR_MODULE2、E_AUTOSR_MODULE3、E_AUTOSR_MODULE4の値はどのように設定してもよいが、優先的にシーン判定を行いたい種類には若い番号を付するとよい。例えば、人物判定＞風景判定＞夜景判定＞接写判定の順にシーン判定を行いたい場合は、E_AUTOSR_MODULE1=1、E_AUTOSR_MODULE2=2、E_AUTOSR_MODULE3=3、E_AUTOSR_MODULE4=4とする。これらの値を操作部１１から任意に設定できてもよい。

Ｓ８０では、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７２に進み、“Ｎｏ”の場合はＳ８１に進む。

Ｓ８１では、ＲＡＭ６９のパラメータSR_oldに、現在のＲＡＭ６９のシーン認識結果ＳＲを設定する。すなわち、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであればSR_old=0、現在のＲＡＭ６９のシーン認識結果ＳＲが人物であればSR_old=1、現在のＲＡＭ６９のシーン認識結果ＳＲが風景であればSR_old=2、現在のＲＡＭ６９のシーン認識結果ＳＲが夜景であればSR_old=3、現在のＲＡＭ６９のシーン認識結果ＳＲが接写であればSR_old=4とする。

Ｓ８２では、ＲＡＭ６９のパラメータiに、SR_oldを代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ８３では、Ｓ８２でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８４に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ８４では、SR_old=E_AUTOSR_MODULE1であるか否かを判断する。“Ｙｅｓ”の場合はＳ８７に進み、“Ｎｏ”の場合はＳ８５に進む。

Ｓ８５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ８６では、Ｓ８５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ８７では、SR_old=E_AUTOSR_MODULE2であるか否かを判断する。“Ｙｅｓ”の場合はＳ９０に進み、“Ｎｏ”の場合はＳ８８に進む。

Ｓ８８では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ８９では、Ｓ８８でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９０に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ９０では、SR_old=E_AUTOSR_MODULE3であるか否かを判断する。“Ｙｅｓ”の場合はＳ９３に進み、“Ｎｏ”の場合はＳ９１に進む。

Ｓ９１では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。

Ｓ９２では、Ｓ９１でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９３に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。

Ｓ９３では、SR_old=E_AUTOSR_MODULE4であるか否かを判断する。“Ｙｅｓ”の場合はメイン処理のＳ１０に戻り、“Ｎｏ”の場合はＳ９４に進む。

Ｓ９４では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。その後、メイン処理のＳ１０に戻る。

以下、単独シーン認識処理について、図７から図１１のフローチャートを参照して具体的に説明する。

図７は、シーン判定サブルーチン（人物判定、module[1]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１０１では、顔検出処理部８０が顔検出したか否かを判断する。“Ｙｅｓ”の場合はＳ１０２、“Ｎｏ”の場合はＳ１０５に進む。

Ｓ１０２では、ＲＡＭ６９の顔制限フラグがオンであるか否かを判断する。“Ｙｅｓ”の場合はＳ１０３、“Ｎｏ”の場合はＳ１０４に進む。

Ｓ１０３では、ＡＦ評価値の算出領域に設定された顔領域について、顔の大きさが所定範囲内かつ顔の傾きが所定の範囲内かつ顔の向きが所定の範囲内かつ顔の確からしさのスコアが所定の範囲内かつ顔の位置が所定の範囲内であるか否かを判断する。“Ｎｏ”の場合はＳ１０３、“Ｙｅｓ”の場合はＳ１０４に進む。

Ｓ１０４では、シーン認識結果ＳＲ＝人物に設定する。そして、module[1]の後に続く処理、すなわち、Ｓ７３・Ｓ７５・Ｓ７７・Ｓ７９のうちいずれか１つの次の処理、あるいはＳ８５・Ｓ８８・Ｓ９１・Ｓ９４のうちいずれか１つの次の処理に進む。

Ｓ１０５では、シーン認識結果ＳＲ＝ＡＵＴＯに設定する。

図８は、シーン判定サブルーチン（風景判定、module[2]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１１１では、シャッタボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１２４、“Ｎｏ”の場合はＳ１１２に進む。

Ｓ１１２では、設定メニューや操作部１１を介して予めコンティニュアスＡＦ（以下「ＣＡＦ」と表記）の実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１１３、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１１４、“Ｎｏ”の場合はＳ１１９に進む。なお、本ステップＳ１１３を省略してもよい。この場合、Ｓ１１２で“Ｙｅｓ”の場合はＳ１１４に進み、また、Ｓ１１３で“Ｎｏ”と判断された場合に続く諸処理（Ｓ１１９、Ｓ１２０、Ｓ１２１、Ｓ１２２、Ｓ１２３）も省略される。

Ｓ１１４では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１１５、“Ｎｏ”の場合はＳ１１６に進む。

Ｓ１１５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち合焦被写体が所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１１７、“Ｎｏ”の場合はＳ１１８に進む。

Ｓ１１７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１１９では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２０、“Ｎｏ”の場合はＳ１２１に進む。

Ｓ１２０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２２、“Ｎｏ”の場合はＳ１２３に進む。

Ｓ１２２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２５では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１２６、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２６では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め風景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１２６、“Ｎｏ”の場合はＳ１２９に進む。

Ｓ１２７では、ズームレンズ位置が所定範囲内例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１２８、“Ｎｏ”の場合はＳ１２９に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、全景を画角に収めることができず、風景撮影に適していないから、撮影シーンはＡＵＴＯと判断する。

Ｓ１２８では、ＳＲ＝風景に設定する。そして、module[2]の後に続く処理に進む。

Ｓ１２９では、ＳＲ＝ＡＵＴＯに設定する。そして、module[2]の後に続く処理に進む。

図９は、シーン判定サブルーチン（夜景判定、module[3]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１３１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１３２、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３２では、シャッタボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１４７、“Ｎｏ”の場合はＳ１３３に進む。

Ｓ１３３では、ＲＡＭ６９に記憶されている半押し（Ｓ１）前の夜景判定フラグがオンに設定さているか否かを判断する。“Ｙｅｓ”の場合はＳ１３４、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３４では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１３５、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。

Ｓ１３５では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１３６、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３６では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１３７、“Ｎｏ”の場合はＳ１４２に進む。なお、本ステップＳ１３６を省略してもよい。この場合、Ｓ１３５で“Ｙｅｓ”の場合はＳ１３７に進み、また、Ｓ１３６で“Ｎｏ”と判断された場合に続く諸処理も省略される。

Ｓ１３７では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１３８、“Ｎｏ”の場合はＳ１３９に進む。

Ｓ１３８では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１３９では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４０、“Ｎｏ”の場合はＳ１４１に進む。

Ｓ１４０では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４１では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４２では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４３、“Ｎｏ”の場合はＳ１４４に進む。

Ｓ１４３では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４４では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４５、“Ｎｏ”の場合はＳ１４６に進む。

Ｓ１４５では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４６では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４７では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１４８、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。

Ｓ１４８では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。

Ｓ１４９では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１５０、“Ｎｏ”の場合はＳ１５１に進む。

Ｓ１５０では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１５１、“Ｎｏ”の場合はＳ１５２に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、入射光量の乏しいバック遠景を画角に収めることができず、夜景撮影に適していないから、ＡＵＴＯと判定する。

Ｓ１５１では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。

Ｓ１５２では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む。

図１０は、シーン判定サブルーチン（夜景判定、module[3]）の他の一例を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。夜景判定は、図１１または１２のいずれかを採用すれば足りる。いずれか一方を選択的に実行できてもよい。

Ｓ１６１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１６２、“Ｎｏ”の場合はＳ１６８に進む。なお、この閾値は、補助光制御部２５へ発光を指示するか否かを判別する閾値と同じであってもよいし異なっていてもよい。

Ｓ１６２では、シャッタボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１６３、“Ｎｏ”の場合はＳ１６８に進む。

Ｓ１６３では、補助光制御部２５に補助光発光部２６の発光を指示したか否かを判断する。“Ｙｅｓ”の場合はＳ１６４、“Ｎｏ”の場合はＳ１６８に進む。

Ｓ１６４では、補助光制御部２５が補助光発光部２６を発光させる直前と直後にそれぞれ制御回路７４の測光した被写界輝度の差が、ＲＯＭ６８に記憶された所定の閾値を超えているか否かを判断する。“Ｙｅｓ”の場合はＳ１６８、“Ｎｏ”の場合はＳ１６５に進む。なお、当該差が当該閾値を超えておらず、微小であれば、補助光照射による被写体輝度の増加の寄与がほとんどなく、被写体が近くないといえる。

Ｓ１６５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１６６、“Ｎｏ”の場合はＳ１６７に進む。

Ｓ１６６では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１６７、“Ｎｏ”の場合はＳ１６８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、バック遠景を画角に収めることができず、夜景撮影に適していない。

Ｓ１６７では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。

Ｓ１６８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む。

図１１は、シーン判定サブルーチン（接写判定、module[4]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。

Ｓ１７１では、シャッタボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１８４、“Ｎｏ”の場合はＳ１７２に進む。

Ｓ１７２では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１７３、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１７４、“Ｎｏ”の場合はＳ１７９に進む。なお、本ステップＳ１７３を省略してもよい。この場合、Ｓ１７２で“Ｙｅｓ”の場合はＳ１７４に進み、また、Ｓ１７３で“Ｎｏ”と判断された場合に続く諸処理も省略される。

Ｓ１７４では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１７５、“Ｎｏ”の場合はＳ１７６に進む。

Ｓ１７５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１７７、“Ｎｏ”の場合はＳ１７８に進む。

Ｓ１７７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１７９では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８０、“Ｎｏ”の場合はＳ１８１に進む。

Ｓ１８０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８２、“Ｎｏ”の場合はＳ１８３に進む。

Ｓ１８２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。

Ｓ１８５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め接写ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１８６、“Ｎｏ”の場合はＳ１８７に進む。

Ｓ１８６では、ズームレンズ位置がＲＯＭ６８に記憶された所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１８７、“Ｎｏ”の場合はＳ１８８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がワイド端あるいはその近傍にある場合以外である。この場合、近接被写体の合焦ができず、近接撮影に適していない。

Ｓ１８７では、ＳＲ＝接写に設定する。そして、module[4]の後に続く処理に進む。

Ｓ１８８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[4]の後に続く処理に進む。

本実施形態によれば、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値の情報に基づく、１回だけのシーン認識結果（単独シーン認識結果）だけでなく、シーン認識履歴を使ってシーン認識（トータルシーン認識）を行うことにより、安定したシーン認識結果を取得することが可能になる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、Ｓ１オン時におけるトータルシーン認識においてシーンＳＲの判定に用いる単独シーン認識結果の数を、Ｓ１前（Ｓ１オフ時、スルー画表示時）よりも少なくしたものである。

図１２は、本発明の第２の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャートである。

まず、ＣＰＵ７５により、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値を含む撮影情報が取得され、上記の撮影情報を用いてシーン認識（単独シーン認識）が行われる（ステップＳ２０）。

次に、メモリ（ＲＡＭ６９）上のシーン認識履歴の格納領域がスライドし、単独シーン認識結果の最新の値を格納する空き領域が設けられる（ステップＳ２２）。そして、この最新の値の格納領域に、ステップＳ１０における最新の単独シーン認識結果が書き込まれる（ステップＳ２４）。

次に、Ｓ１前（スルー画表示時）におけるトータルシーン認識においてシーンＳＲの判定に用いる単独シーン認識結果を所定数分（Ｓ１前用参照数分）含むシーン認識履歴が読み込まれて（ステップＳ２６）、シーン認識履歴に基づいて、現在のシーンＳＲが判定される（ステップＳ２８）。例えば、Ｓ１前にトータルシーン認識を行う際に参照すべき単独シーン認識結果の数ａ（Ｓ１前用参照数）がａ＝５と設定されている場合、５つの単独シーン認識結果が読み込まれる。なお、ステップＳ２８では、上記ステップＳ１８と同様に、トータルシーン認識において、例えば、シーン認識履歴における認識回数（認識頻度）及び認識結果の新しさに基づいて現在撮影中のシーンＳＲが判定される。そして、このシーンＳＲの判定結果に応じて撮影モードの設定が行われる。

図１３は、本発明の第２の実施形態に係るシーン認識処理（Ｓ１オン時）を示すフローチャートである。

まず、ＣＰＵ７５により、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値の情報を取得され、上記の情報を用いてシーン認識（単独シーン認識）が行われる（ステップＳ３０）。

次に、シーン認識履歴を参照するかどうか判定される（ステップＳ３２）。Ｓ１オン時のシーン認識においてシーン認識履歴を参照しない設定になっている場合には（ステップＳ３２のＮｏ）、ステップＳ３０における単独シーン認識結果が現在のシーン（ＳＲ）に設定される（ステップＳ３４）。

次に、Ｓ１オン時のシーン認識においてシーン認識履歴を参照する（トータルシーン認識を行う）設定になっている場合には（ステップＳ３２のＹｅｓ）、メモリ（ＲＡＭ６９）上のシーン認識履歴の格納領域がスライドし、単独シーン認識結果の最新の値を格納する空き領域が設けられる（ステップＳ３６）。そして、この最新の値の格納領域に、ステップＳ１０における最新の単独シーン認識結果が書き込まれる（ステップＳ３８）。

次に、Ｓ１前用参照数よりも少ないＳ１後用参照数分の単独シーン認識結果を含むシーン認識履歴が読み込まれて（ステップＳ４０）、シーン認識履歴に基づいて、現在のシーンＳＲが判定される（ステップＳ４２）。例えば、Ｓ１前にトータルシーン認識を行う際に参照すべき単独シーン認識結果の数ａ（Ｓ１前用参照数）がａ＝５と設定されている場合、Ｓ１後にトータルシーン認識を行う際に参照すべき単独シーン認識結果の数ｂ（Ｓ１後用参照数）はｂ＝４と設定することとしても良い。この場合、４つの単独シーン認識結果が読み込まれる。なお、ステップＳ４２では、上記ステップＳ１８等と同様に、トータルシーン認識において、例えば、シーン認識履歴における認識回数（認識頻度）及び認識結果の新しさに基づいて現在撮影中のシーンＳＲが判定される。そして、このシーンＳＲの判定結果に応じて撮影モードの設定が行われる。

一般に、Ｓ１ＡＥ及びＳ１ＡＦ（以下、Ｓ１ＡＵＴＯという。）により得られる撮影情報は、ＣＡＥ及びＣＡＦ（以下、ＣＡＵＴＯという。）により得られる撮影情報よりも精度が高い。このため、Ｓ１ＡＵＴＯ時の撮影情報に基づく単独シーン認識結果は、ＣＡＵＴＯに基づく単独シーン認識結果よりも精度が高いと考えられる。本実施形態では、Ｓ１オン時におけるトータルシーン認識においてシーンＳＲの判定に用いる単独シーン認識結果の数を、Ｓ１前（スルー画表示時）よりも少なくすることで、Ｓ１オン時のトータルシーン認識で参照するシーン認識履歴中のＳ１前の単独シーン認識結果の数を少なくし、その影響を小さくする。

本実施形態によれば、Ｓ１オン時におけるトータルシーン認識においてシーンＳＲの判定に用いる単独シーン認識結果の数を、Ｓ１前（スルー画表示時）よりも少なくすることにより、Ｓ１前のトータルシーン認識結果の安定性とＳ１オン時のトータルシーン認識結果の正確性を両立させることが可能となる。

なお、精度を重視する場合、Ｓ１オン時のトータルシーン認識では、Ｓ１前の単独シーン認識結果の履歴を参照しないようにすることも可能である。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、トータルシーン認識において、シーン認識履歴の集計を行うときに重みづけをするようにしたものであり、新しい単独シーン認識結果ほど重みを大きくしたものである。

図１４は、本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１前）を模式的に示す図である。

上記第１及び第２の実施形態と同様、Ｓ１前のスルー画表示時には、ＲＡＭ６９の所定の格納領域Ａ［０］，Ａ［１］，Ａ［２］，…にＳ１前の単独シーン認識結果がシーン認識履歴として順番に格納される。

シーン認識履歴が更新されると、ＣＰＵ７５は、シーン認識履歴から単独シーン認識結果を読み出して集計し、トータルシーン認識を行う。図１４に示すように、本実施形態のデジタルカメラ１は、シーン認識履歴中の個別の単独シーン認識結果にかける重みｗ［ｉ］（ｉ＝０，１，２，…）を予めＲＡＭ６９に記憶している。この重みｗ［ｉ］の値は、シーン認識結果の古い側ほど小さくなっている。ＣＰＵ７５は、単独シーン認識結果の集計時に重みｗ［ｉ］を乗算してシーンごとのスコアを算出し、このスコアが最大のものを現在のシーン（ＳＲ）と判定する。

図１４に示す例では、各シーンのスコアは下記のようになる。

スコア（ＩＤ＝１）＝１×ｗ［１］＋１×ｗ［２］＋１×ｗ［３］＋１×ｗ［４］
＝３＋２＋１＋１
＝７
スコア（ＩＤ＝３）＝１×ｗ［０］
＝５
従って、トータルシーン認識結果を示すシーンＩＤはＳＲ＝１となり、撮影モードが「人物」モードに設定される。

図１５は、本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を模式的に示す図である。

図１５に示す例では、Ｓ１後における単独シーン認識結果に係る重みが最大になっており、各シーンのスコアは下記のようになる。

スコア（ＩＤ＝０）＝１×ｗ［２］＋１×ｗ［３］＋１×ｗ［４］
＝２＋１＋１
＝４
スコア（ＩＤ＝１）＝１×ｗ［１］
＝５
スコア（ＩＤ＝３）＝１×ｗ［０］
＝１０
従って、トータルシーン認識結果を示すシーンＩＤはＳＲ＝３となり、撮影モードが「夜景」モードに設定される。

なお、Ｓ１オン時の単独シーン認識結果にかかる重みだけ０より大きい値とし、Ｓ１前の重みを全て０にすることで、Ｓ１後の結果だけ使うようにすることも可能である。

なお、本実施形態では、Ｓ１前とＳ１オン時（Ｓ１オン後）とで重みの値が異なっているが、同じ値を用いてもよい。

図１６は、本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャートである。

まず、ＣＰＵ７５により、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値の情報を取得され、上記の情報を用いてシーン認識（単独シーン認識）が行われる（ステップＳ５０）。

次に、メモリ（ＲＡＭ６９）上のシーン認識履歴の格納領域がスライドし、単独シーン認識結果の最新の値を格納する空き領域が設けられる（ステップＳ５２）。そして、この最新の値の格納領域に、ステップＳ１０における最新の単独シーン認識結果が書き込まれる（ステップＳ５４）。

次に、Ｓ１前（スルー画表示時）におけるトータルシーン認識においてシーンＳＲの判定に用いる単独シーン認識結果の数分（Ｓ１前用参照数分）のシーン認識履歴が読み込まれて（ステップＳ５６）、重みづけ演算が実行される（ステップＳ５８）。そして、重みづけ後のシーン認識履歴に基づいて、現在のシーンＳＲが判定される（ステップＳ６０）。なお、ステップＳ６０では、上記ステップＳ１８等と同様に、トータルシーン認識において、例えば、シーン認識履歴における認識回数（認識頻度）及び認識結果の新しさに基づいて現在撮影中のシーンＳＲが判定される。そして、このシーンＳＲの判定結果に応じて撮影モードの設定が行われる。

図１７は、本発明の第３の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を示すフローチャートである。

まず、ＣＰＵ７５により、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値の情報を取得され、上記の情報を用いてシーン認識（単独シーン認識）が行われる（ステップＳ７０）。

次に、シーン認識履歴を参照するかどうか判定される（ステップＳ７２）。Ｓ１オン時のシーン認識においてシーン認識履歴を参照しない設定になっている場合には（ステップＳ７２のＮｏ）、ステップＳ７０における単独シーン認識結果が現在のシーン（ＳＲ）に設定される（ステップＳ７４）。

次に、Ｓ１オン時のシーン認識においてシーン認識履歴を参照する（トータルシーン認識を行う）設定になっている場合には（ステップＳ７２のＹｅｓ）、メモリ（ＲＡＭ６９）上のシーン認識履歴の格納領域がスライドし、単独シーン認識結果の最新の値を格納する空き領域が設けられる（ステップＳ７６）。そして、この最新の値の格納領域に、ステップＳ１０における最新の単独シーン認識結果が書き込まれる（ステップＳ７８）。

次に、Ｓ１前用参照数よりも少ないＳ１後用参照数分の単独シーン認識結果を含むシーン認識履歴が読み込まれて（ステップＳ８０）、重みづけ演算が実行される（ステップＳ８２）。そして、シーン認識履歴に基づいて、現在のシーンＳＲが判定される（ステップＳ８４）。なお、ステップＳ８４では、上記ステップＳ１８等と同様に、トータルシーン認識において、例えば、シーン認識履歴における認識回数（認識頻度）及び認識結果の新しさに基づいて現在撮影中のシーンＳＲが判定される。そして、このシーンＳＲの判定結果に応じて撮影モードの設定が行われる。

本実施形態によれば、シーン認識履歴を集計するときに、新しい単独シーン認識結果ほど重みを大きくすることにより、シーン変動があった場合の応答性を向上させることが可能となり、トータルシーン認識結果の安定性と応答性を両立させることが可能となる。また、Ｓ１ＡＵＴＯ時の撮影情報に基づく単独シーン認識結果は精度が高いので、Ｓ１オン時における単独シーン認識結果にかかる重みを大きくすることで、シーンの認識精度を向上させることが可能になる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、単独シーン認識に使用する撮影情報（例えば、顔検出の結果、フォーカスレンズ位置、ズームレンズ位置、合焦状態及び測光値のうち少なくとも１つ）の履歴をＲＡＭ６９に格納しておき、上記撮影情報履歴から各撮影情報の代表値を求めて、この代表値に基づいて単独シーン認識を行うものである。

図１８は、本発明の第４の実施形態に係るトータルシーン認識処理を模式的に示す図である。

本実施形態に係るデジタルカメラ１は、上記第１の実施形態と同様、撮影モード時に、コンティニュアスＡＥ（ＣＡＥ）及びコンティニュアスＡＦ（ＣＡＦ）を行う。また、シャッタボタンが半押しされると（Ｓ１オン）、Ｓ１ＡＥ及びＳ１ＡＦを行う。図１８に示すように、ＣＡＥ及びＣＡＦ、Ｓ１ＡＥ及びＳ１ＡＦによって得られた撮影情報はＲＡＭ６９に順次格納される。

なお、図１８に示す例では、撮影情報の例として、明るさＥＶ［ｉ］（測光値、ＥＶ値）と被写体距離ＰＯＳ［ｉ］（例えば、フォーカスレンズ位置）が示されているが、上記以外の情報（例えば、顔検出の結果（顔の有無、個数）、ズームレンズ位置及び測光値）を格納するようにしてもよい。

次に、ＣＰＵ７５は、所定の時間間隔ごとに（例えば、ＣＡＥ及びＣＡＦによってＲＡＭ６９に新たな撮影情報が格納されてＲＡＭ６９の撮影情報が更新されるごとに、又は撮影履歴が所定の個数格納されるごとに）、上記撮影情報履歴を読み出して各撮影情報の代表値を算出する。そして、この代表値に基づいてシーン認識を行う。ここで、撮影情報の代表値としては、例えば、平均値又はメディアン値を用いることができる。また、代表値としては、例えば、撮影情報の値を大きさの順に並べた場合に、最大値側のＮ個、最小値側のＭ個（Ｎ＝Ｍ、Ｎ≠Ｍのいずれでもよい。）を除外してから残りの撮影情報について算出した平均値を用いることもできる。この場合、他の撮影情報と極端にかけ離れた値を除外することができるので、シーンの変動やノイズの影響を受けにくくなる。

図１９は、本発明の第４の実施形態に係るトータルシーン認識処理を示すフローチャートである。なお、図１９の処理は、撮影モード時において、所定の時間間隔ごとに実行される。処理を行うタイミングとして、例えば、ＣＡＥ及びＣＡＦによってＲＡＭ６９に新たな撮影情報が格納されてＲＡＭ６９の撮影情報が更新されるごと、又は所定の個数の撮影情報履歴が格納されるごと、が挙げられる。

まず、ＲＡＭ６９から撮影情報履歴（例えば、明るさ及び被写体距離）が読み出されて（ステップＳ９０）、その代表値（ＥＶａ、ＰＯＳａ）が算出される（ステップＳ９２）。

次に、上記代表値（ＥＶａ、ＰＯＳａ）に基づいてトータルシーン認識が行われ（ステップＳ９４）、このトータルシーン認識の結果に応じて撮影モードの設定が行われる。

本実施形態によれば、ＡＥ及びＡＦ時に得られるシーン認識用の撮影情報を時系列的に格納しておき、撮影情報の履歴を使ってトータルシーン認識を行うことにより、安定したシーン認識結果を取得することが可能になる。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

図２０は、本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１前）を模式的に示す図であり、図２１は、本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を模式的に示す図である。図２０及び図２１に示すように、本実施形態は、Ｓ１オン時におけるトータルシーン認識に用いる撮影情報の履歴に含まれる撮影情報の数を、Ｓ１前（スルー画表示時）よりも少なくしたものである。

図２２は、本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャートである。図２２の処理は、撮影モード時において、所定の時間間隔ごとに実行される。なお、上記処理は、例えば、ＣＡＥ及びＣＡＦによってＲＡＭ６９に新たな撮影情報が格納されてＲＡＭ６９の撮影情報が更新されるごと、又は撮影履歴が所定の個数格納されるごとに行われることとしてもよい。

まず、所定数分（Ｓ１前用参照数分）の撮影情報（例えば、明るさ及び被写体距離）を含む撮影情報履歴がＲＡＭ６９から読み出されて（ステップＳ１００）、その代表値（ＥＶａ、ＰＯＳａ）が算出される（ステップＳ１０２）。

次に、上記代表値（ＥＶａ、ＰＯＳａ）に基づいてトータルシーン認識が行われ（ステップＳ１０４）、このトータルシーンの認識結果に応じて撮影モードの設定が行われる。

図２３は、本発明の第５の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を示すフローチャートである。図２３の処理は、Ｓ１オン後に、所定の時間間隔ごとに実行される。なお、上記処理は、例えば、ＣＡＥ及びＣＡＦによってＲＡＭ６９に新たな撮影情報が格納されてＲＡＭ６９の撮影情報が更新されるごと、又は撮影履歴が所定の個数格納されるごと、に行われることとしてもよい。

まず、Ｓ１前用参照数よりも少ないＳ１後用参照数分の撮影情報（例えば、明るさ及び被写体距離）を含む撮影情報履歴がＲＡＭ６９から読み出されて（ステップＳ１１０）、その代表値（ＥＶａ、ＰＯＳａ）が算出される（ステップＳ１１２）。

次に、上記代表値（ＥＶａ、ＰＯＳａ）に基づいてトータルシーン認識が行われ（ステップＳ１１４）、このトータルシーンの認識結果に応じて撮影モードの設定が行われる。

一般に、Ｓ１ＡＵＴＯ時により得られる撮影情報は、ＣＡＵＴＯ時により得られる撮影情報よりも精度が高い。本実施形態では、Ｓ１オン時のシーン認識に用いる履歴中の撮影情報の数を、Ｓ１前（スルー画表示時）のトータルシーン認識に用いる数よりも少なくすることで、Ｓ１オン時のトータルシーン認識で参照する撮影情報履歴中のＳ１前の撮影情報の数を少なくし、その影響を小さくする。これにより、Ｓ１前のトータルシーン認識結果の安定性とＳ１オン時のトータルシーン認識結果の正確性を両立させることが可能となる。

［第６の実施形態］
次に、本発明の第６の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、撮影情報の代表値を算出するときに重みづけをするようにしたものであり、新しい撮影情報にかける重みの値を大きくしたものである。

図２４は、本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１前）を模式的に示す図であり、図２５は、本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を模式的に示す図である。

図２４及び図２５に示すように、本実施形態のデジタルカメラ１は、撮影情報を集計するときにかける重みｗ［ｉ］（ｉ＝０，１，２，…）を予めＲＡＭ６９に記憶している。この重みｗ［ｉ］の値は、撮影情報履歴のうちで古い撮影情報ほど小さくなっている。なお、この重みｗ［ｉ］の値は、Ｓ１前とＳ１オン時とで異なっていてもよいし、同じでもよい。

図２６は、本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１前）を示すフローチャートである。図２６の処理は、撮影モード時において、所定の時間間隔ごとに実行される。なお、上記処理は、例えば、ＣＡＥ及びＣＡＦによってＲＡＭ６９に新たな撮影情報が格納されてＲＡＭ６９の撮影情報が更新されるごと、又は撮影履歴が所定の個数格納されるごと、に行うこととしてもよい。

まず、ＲＡＭ６９から撮影情報履歴（例えば、明るさ及び被写体距離）が所定数分（Ｓ１前用参照数分）読み出されて（ステップＳ１２０）、撮影情報が重みづけされて（ステップＳ１２２）、その代表値（重みづけ平均値）ＥＶａ及びＰＯＳａが算出される（ステップＳ１２４）。

次に、上記代表値（ＥＶａ、ＰＯＳａ）に基づいてトータルシーン認識が行われ（ステップＳ１２６）、このトータルシーン認識の結果に応じて撮影モードの設定が行われる。

図２７は、本発明の第６の実施形態に係るトータルシーン認識処理（Ｓ１オン時）を示すフローチャートである。図２７の処理は、Ｓ１オン後に、所定の時間間隔ごとに実行される。なお、上記処理は、例えば、ＣＡＥ及びＣＡＦによってＲＡＭ６９に新たな撮影情報が格納されてＲＡＭ６９の撮影情報が更新されるごと、又は撮影履歴が所定の個数格納されるごと、に行うこととしても良い。

まず、Ｓ１前用参照数よりも少ないＳ１後用参照数分の撮影情報（例えば、明るさ及び被写体距離）を含む撮影情報履歴がＲＡＭ６９から読み出されて（ステップＳ１３０）、撮影情報が重みづけされて（ステップＳ１３２）、その代表値（重みづけ平均値）ＥＶａ及びＰＯＳａが算出される（ステップＳ１３４）。

次に、上記代表値（ＥＶａ、ＰＯＳａ）に基づいてトータルシーン認識が行われ（ステップＳ１３６）、このトータルシーン認識の結果に応じて撮影モードの設定が行われる。

本実施形態によれば、撮影情報の代表値を算出するときに、撮影履歴ごとに重みづけすることにより、シーン変動があった場合の応答性を向上させることが可能となり、シーン認識結果の安定性と応答性を両立させることが可能となる。また、Ｓ１ＡＵＴＯ時に得られた撮影情報は精度が高いので、Ｓ１オン時における撮影情報にかかる重みを大きくすることで、シーンの認識精度を向上させることが可能になる。

１…デジタルカメラ、１１…操作部、２０…レンズ、２４…フラッシュ発光部、２５…補助光制御部、２６…補助光発光部、５１…レンズ駆動部、５４…絞り、５５…絞り駆動部、５８…撮像素子（ＣＣＤ）、５９…撮像素子制御部、６０…アナログ信号処理部、６１…Ａ／Ｄ変換部、６２…ＡＦ処理部、６３…ＡＥ／ＡＷＢ処理部、６５…デジタル信号処理部、６６…メモリ、６７…圧縮伸張処理部、６８…ＲＯＭ、６９…ＲＡＭ、７０…記録部、７１…表示部、７３…フラッシュ制御部、７４…制御回路、７５…ＣＰＵ、８０…顔検出処理部

Claims (15)

1. 撮影シーンの情報である撮影情報を取得する撮影情報取得手段と、
   前記撮影情報取得手段により取得した前記撮影情報から撮影シーンを認識する単独シーン認識を行う単独シーン認識手段と、
   前記単独シーン認識手段による単独シーン認識結果を最新の所定個数分シーン認識履歴として登録するシーン認識履歴登録手段と、
   前記シーン認識履歴登録手段により登録されたシーン認識履歴に基づいて撮影シーンを認識するトータルシーン認識を行うトータルシーン認識手段と、
   前記トータルシーン認識手段による前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御及び情報記録制御のうち少なくとも１つを行う制御手段と、
   を備えたことを特徴とする撮像装置。
2. 撮影シーンの情報である撮影情報を取得する撮影情報取得手段と、
   前記撮影情報取得手段により取得された撮影情報を最新の所定個数分撮影情報履歴として登録する撮影情報履歴登録手段と、
   前記撮影情報履歴登録手段に登録された撮影情報履歴に基づいて撮影シーンを認識するトータルシーン認識を行うトータルシーン認識手段と、
   前記トータルシーン認識手段による前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御及び情報記録制御のうち少なくとも１つを行う制御手段と、
   を備えたことを特徴とする撮像装置。
3. 前記トータルシーン認識手段は、前記シーン認識履歴登録手段に登録された前記シーン認識履歴の全部もしくは一部の範囲において、最大頻度の単独シーン認識結果が示す撮影シーンを検出し、当該検出した撮影シーンを前記トータルシーン認識結果とすることを特徴とする請求項１に記載の撮像装置。
4. 前記トータルシーン認識手段は、前記最大頻度の単独シーン認識結果が示す撮影シーンが複数検出された場合には、最新側の最大頻度の単独シーン認識結果が示す撮影シーンを前記トータルシーン認識結果とすることを特徴とする請求項３に記載の撮像装置。
5. 前記トータルシーン認識手段は、
   前記シーン認識履歴登録手段に登録された前記シーン認識履歴中の各単独シーン認識結果に対し、最新の単独シーン認識結果ほど重みが大きくなる重み付けを行う重み付け設定手段と、
   前記重み付け設定手段による重み付け後の単独シーン認識結果別の累積スコアを算出する算出手段とを有し、
   前記算出手段により算出した累積スコアが最大となる単独シーン認識結果を前記トータルシーン認識結果とすることを特徴とする請求項１に記載の撮像装置。
6. 前記トータルシーン認識手段は、
   前記撮影情報履歴登録手段に登録された前記撮影情報履歴から代表値を算出する算出手段と、
   前記算出手段により算出された代表値に基づいて撮影シーンを認識する認識手段と、
   を有することを特徴とする請求項２に記載の撮像装置。
7. 前記算出手段は、前記撮影情報履歴登録手段に登録された前記撮影情報履歴の平均値、前記撮影情報履歴のうちの最新の情報ほど大きくなる重みを付けた重み付け平均値、前記撮影情報履歴のメディアン値、及び前記撮影情報履歴のうちの最大値側のＮ（Ｎ：０以上の整数）個分、最小値側のＭ（Ｍ：０以上の整数であって、Ｎ＝Ｍ、Ｎ≠Ｍを含む）個分の撮影情報を除いた残り情報の平均値のうちのいずれか１つを前記代表値として算出することを特徴とする請求項６に記載の撮像装置。
8. 前記撮影情報取得手段は、撮影シーン中に人物の顔があるか否かを示す情報、被写体距離を示す情報、被写体の明るさを示す情報、及び補助光の検出情報のうちの少なくとも１つの情報を取得することを特徴とする請求項１から７のいずれかに記載の撮像装置。
9. 前記撮影情報取得手段は、前記被写体距離を示す情報として、前記被写体に合焦しているときのフォーカス位置の情報を取得することを特徴とする請求項８に記載の撮像装置。
10. シャッタ半押し時に本露光用の測光及び測距を指示し、シャッタ全押し時に本露光を指示するシャッタボタンを更に備え、
    前記シーン認識履歴登録手段に登録される前記シーン認識履歴には、前記シャッタ半押し前の単独シーン認識結果の個数と、前記シャッタ半押し後の単独シーン認識結果の個数とが個別に設定されることを特徴とする請求項１、３、４、５、８及び９のいずれかに記載の撮像装置。
11. シャッタ半押し時に本露光用の測光及び測距を指示し、シャッタ全押し時に本露光を指示するシャッタボタンを備え、
    前記撮影情報履歴登録手段に登録される前記撮影情報履歴は、前記シャッタ半押し前の撮影情報の個数と、前記シャッタ半押し後の撮影情報の個数とが個別に設定されることを特徴とする請求項２、６、７、８及び９のいずれかに記載の撮像装置。
12. 前記トータルシーン認識手段によるトータルシーン認識結果に応じて撮影モードを設定する撮影モード設定手段を更に有し、
    前記制御手段は、前記設定された撮影モードに基づいて前記撮影制御を行うことを特徴とする請求項１から１１のいずれかに記載の撮像装置。
13. シャッタ半押し時に本露光用の測光及び測距を指示し、シャッタ全押し時に本露光を指示するシャッタボタンを更に備え、
    前記撮影情報取得手段は、前記シャッタ半押し後は、本露光用の被写体距離を示す情報、及び本露光用の被写体の明るさを示す情報のみを取得することを特徴とする請求項１から１２のうちのいずれかに記載の撮像装置。
14. 撮影シーンの情報である撮影情報を取得する撮影情報取得ステップと、
    前記撮影情報取得ステップにより取得した前記撮影情報から撮影シーンを認識する単独シーン認識ステップと、
    前記単独シーン認識ステップにおいて認識された単独シーン認識結果を最新の所定個数分シーン認識履歴としてシーン認識履歴登録手段に登録するシーン認識履歴登録ステップと、
    前記シーン認識履歴登録手段に登録された前記シーン認識履歴に基づいて撮影シーンを認識するトータルシーン認識ステップと、
    前記トータルシーン認識ステップの前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御及び情報記録制御のうち少なくとも１つを行う制御ステップと、
    を備えたことを特徴とする撮像方法。
15. 撮影シーンの情報である撮影情報を取得する撮影情報取得ステップと、
    前記撮影情報取得ステップにおいて取得された前記撮影情報を最新の所定個数分撮影情報履歴として撮影情報履歴登録手段に登録する撮影情報履歴登録ステップと、
    前記撮影情報履歴登録手段に登録された前記撮影情報履歴に基づいて撮影シーンを認識するトータルシーン認識ステップと、
    前記トータルシーン認識ステップの前記トータルシーン認識結果に応じて、表示制御、撮影制御、信号処理制御及び情報記録制御のうち少なくとも１つを行う制御ステップと、
    を備えたことを特徴とする撮像方法。

Images