JP4356778B2 - 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、人物などの被写体を含んだ画像の撮影を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、画像に含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、画像に含まれる被写体から笑顔を認識したことを利用して撮影するタイミングを自動的に決定する画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、入力画像に複数の被写体が含まれる場合に、適当な被写体に着目して笑顔検出を行ない、撮影タイミングを自動的に決定する画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。例えば、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正などである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。

オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきである。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。

ここで、撮像した画像信号から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。また、撮像された顔が傾いていると、顔を正しく検出し難いため、顔の角度を検出して、その検出値に応じて顔の画像を回転させた後、マッチング処理などを行なうなどの手法も知られている。顔の角度を検出する方法としては、顔の中心線を検出し、その中心線らしさを示す度合いを顔の左右対称性に基づいて算出して、その度合いの高い中心線の角度を顔の角度として出力する手法などが挙げられる（例えば、特許文献２を参照のこと）。

また、最近では、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決める自動撮影に関する研究開発が進められている。

例えば、撮影する主要被写体に含まれる注目部位において、主要被写体が所定の撮影条件を満たすかどうかを判断し、撮影条件を満たしたときに撮影タイミング信号を出力するカメラについて提案がなされている（例えば、特許文献３〜５を参照のこと）。ここで言う注目部位とは、例えば、人物を撮影するときの当該人物の目や口の形や色、鳥を撮影するときの当該鳥の羽根などである。

具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。また、人物を被写体として撮影した写真を良好にするために写真を修正する技術が従来から知られているが、人が瞬きしている瞬間の写真を瞬きしていない写真に修正することや、笑っていない人の写真を笑っているように修正することは難しいということも、笑顔を撮影条件とする理由の１つである。例えば、被写体の目の中の白色部分の面積や、口の横方向の長さ、口の中の白色部分の面積などの画像情報に基づいて、「微笑んでいる」という撮影条件を判定することができる。

ここで、撮影を行なう際には、フォーカスやアイリスを被写体に合わせておく必要がある。上述したように笑顔など被写体の特定のパターンを認識して撮影を行なう自動撮影機能では、笑顔検出した後にフォーカスやアイリスを被写体に追従させる動作を行なった後に撮影を行なうことになる。すなわち、笑顔検出後に、通常のオート・フォーカス機能により１枚の撮影を行なうときと同じだけの時間がかかる。

ところが、フォーカスやアイリスの追従動作は最速でも０．２〜０．３秒程度の時間がかかるのに対し、人間の笑顔の持続時間は一般に０．１秒程度しかない。このため、せっかく被写体画像から笑顔を検出できたにもかかわらず、実際に撮影される顔は笑顔でないことが多くなってしまう。

特開２００３−２７１９３３号公報（段落００５１〜００５３、図６） 特開平９−１７１５６０号公報（段落００３２〜００４４、図４） 特開２０００−３４７２７８号公報 特開２００４−２９４４９８号公報 特開２００６−２３７８０３号公報

本発明の目的は、画像に含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を好適に行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、画像に含まれる被写体から笑顔を認識したことを利用して、適切な撮影タイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、笑顔検出によって撮影タイミングを自動決定するとともに、画像から検出された被写体の笑顔を確実に撮影することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、笑顔検出によって自動決定された撮影タイミングから遅滞なく撮影を実施することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、被写体の笑顔検出に応じて被写体画像の撮影を行なう画像撮影装置であって、
被写体からの光を集光する光学手段と、
前記光学手段によって集光された被写体画像を撮像する撮像手段と、
前記光学手段の各機構の駆動を制御する光学機構駆動制御手段と、
前記撮像手段による撮像画像を信号処理する画像信号処理手段と、
前記画像信号処理手段による信号処理後の撮像画像を所定の記録メディアに記録する画像記録手段と、
前記画像信号処理手段による信号処理後の撮影画像から被写体の顔を検出する顔検出手段と、
前記顔検出手段によって検出された検出顔から笑顔を検出する笑顔検出手段と、
撮影画像から被写体の笑顔を検出したことに応じて、前記光学機構駆動制御手段による前記光学手段の各機構の駆動を固定したままで、被写体画像の撮影処理を行なう笑顔検出撮影制御手段と、
を具備することを特徴とする画像撮影装置である。

本発明の係る画像撮影装置は、笑顔検出対象となった検出顔の笑顔度レベルを検出し、検出された笑顔度レベルが笑顔検出レベルに到達したことに応じて撮影処理を制御するように構成されている。勿論、笑顔検出結果に基づいて撮影以外の処理を行なうことも考えられる。

現在、デジタルカメラなどの画像撮影装置が広範に普及しており、各種カメラ・ワークの自動化技術についても並行して進められている。このうち、自動撮影に関しては、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタ機能について研究開発がなされている。具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。

ここで、撮影を行なう際には、光学系で集光して被写体像が撮像素子の撮像面で結像するようにフォーカスを合わせる制御や、被写体に対して適正な露光を行なうようにアイリスに対する制御を行なっておく必要がある。しかしながら、笑顔検出した後に、フォーカスやアイリスを被写体に追従させるスキャン動作を行なってから撮影画像のキャプチャ動作を行なうと、被写体の笑顔の持続時間のうちに撮影動作を開始できなくなり、実際に撮影される顔は笑顔でない、という問題がある。

そこで、本発明に係る画像撮影装置は、撮影画像から笑顔を検出した後は、フォーカス並びにアイリスを固定して追従動作を行なわないで、即座にキャプチャ動作を行なうようにすることで、被写体の笑顔を逃すことなく撮影することようにしている。

本発明に係る画像撮影装置は、例えば、通常の撮影モードの他に、笑顔検出撮影モードという撮影モードを備え、ユーザ（撮影者）によるシャッター・キー操作が行なわれると、現在設定されている撮影モードに応じた処理を実行する。

通常の撮影モード下では、シャッター・キーの半押しに応じて画像内の被写体のフォーカスやアイリス制御（すなわち、スキャン動作）が実施され、シャッター・キーの深押しに応じてカメラ撮影処理（すなわち画像のキャプチャ動作）が実施される。また、半押し操作なしにいきなりシャッター・キーの深押し操作が行なわれたときには、半押し時と同様のスキャン動作をしてからキャプチャ動作が行なわれる。

これに対し、笑顔検出撮影モード下では、シャッター・キーの半押しにより被写体のフォーカス合わせとアイリス制御などのスキャン動作を行なうと、フォーカス及びアイリスを固定しておく。そして、シャッター・キーの深押しが行なわれると、撮影画像中の被写体の笑顔検出処理が起動し、笑顔が検出されるとスキャン動作なしにそのまま撮影画像を記録するためのキャプチャ処理が行なわれる。すなわち、あらかじめフォーカスやアイリスを固定しているため、笑顔を検出してからキャプチャ動作を行なうまでに、スキャン動作に伴う０．２〜０．３秒程度の時間を省略することができるので、被写体の笑顔を逃すことなく撮影することができる。

笑顔検出撮影モード下では、基本的にはフォーカス・アイリスを固定したままであり、被写体の笑顔が検出される度に逐次キャプチャ処理が行なわれる。また、笑顔検出撮影モード下でシャッター・キーの深押しが再び行なわれると、笑顔検出撮影モードを抜けて通常の撮影モードに復帰する。

上述したような自動撮影方法は、被写体がずっと動かないことを前提としており、動く可能性のある被写体の場合は最初に固定したのと違う地点で撮影が行なわれる可能性があり、結果的に撮影画像のフォーカスが合っていないことも予測される。例えば、被写体が動いたために検出顔を見失う、あるいは被写体から笑顔がなかなか検出されないなど、速やかに笑顔検出撮影が行なわれないときには、固定しておいたフォーカスやアイリスがもはや有効でないことが推測される。

そこで、本発明に係る画像撮影装置は、シャッター・キーの深押しを行なってから即座に笑顔検出撮影が行なわれないときには、フォーカスやアイリスのリフレッシュすなわち再スキャン動作を適宜的に実施するようにしてもよい。

具体的には、笑顔検出撮影状態において、撮影画像から笑顔検出の対象となっている検出顔を一旦見失ったときには、その後に再び検出対象の被写体を検出できたときに再スキャン動作を起動して、新しいフォーカス並びにアイリスに改めて固定する。

あるいは、笑顔検出撮影状態において、撮影画像から笑顔検出の対象となっている検出顔から所定時間以上笑顔を検出できなかったときには、再スキャン動作を起動して、新しいフォーカス並びにアイリスに改めて固定する。

また、本発明の第２の側面は、被写体画像の撮影を行なう画像撮影処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、被写体の笑顔検出に応じて被写体画像の撮影を行なう笑顔検出撮影状態において、前記コンピュータに対し、
光学系で集光して被写体像が撮像面で結像するようにフォーカスを合わせる制御、並びに被写体に対して適正な露光を行なうようにアイリスに対する制御を行なうスキャン動作手順と、
前記スキャン動作手順を実行して得られたフォーカス並びアイリスの制御を固定するフォーカス／アイリス固定手順と、
撮影画像から被写体の顔を検出する顔検出手順と、
撮影画像から被写体の笑顔を検出したことに応じて、前記のフォーカス並びアイリスの制御を固定したままで所定の記録メディアに撮影画像を記録するためのキャプチャ動作を行なう笑顔検出撮影手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像撮影装置と同様の作用効果を得ることができる。

本発明によれば、画像に含まれる被写体から笑顔を認識したことを利用して、適切な撮影タイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、笑顔検出によって撮影タイミングを自動決定するとともに、画像から検出された被写体の笑顔を確実に撮影することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像撮影装置は、笑顔検出後はフォーカス並びにアイリスを固定して追従動作を行なわないでそのままキャプチャ動作を開始するので、笑顔検出によって自動決定された撮影タイミングから遅滞なく撮影を実施して、被写体の笑顔を逃すことなく撮影することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示している。図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、光学系１０を介して入力される画像をデジタル処理して記録するようになっている。

光学系１０は、被写体からの光を撮像素子１１の撮像面に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動（例えば、被写体のフォーカス合わせやアイリス）を制御する。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列された撮像面を有し、被写体からの入射光を電気信号に変換する。受光側には、例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ：アナログ前処理）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。

ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。

タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。

カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施すことによって、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。

解像度変換部（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｔｅｒ）１８は、撮影画像をモニタ・ディスプレイ２５にスルー画像として表示出力するか、又はキャプチャすなわち記録メディアに保存するかに応じて、画像のサイズの変更を行なう。

画像コーデック処理部１９は、ＲＧＢ表色系の画像信号を、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）表色系からなる画像信号に変換した後、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化圧縮処理を行なう。ＹＵＶ表色系へ色空間変換することで、輝度に対する解像度は高いが色に対する解像度が低いという人間の視感度特性を利用して、データ圧縮を行ない易くなる。

メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。

モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やその他のタイプの薄型表示パネルなどで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データ（スルー画像）や、メモリ装置２４に保持されている画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。

また、モニタ・ディスプレイ２５上には、スルー画像が表示される他、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）として表示出力される。本実施形態では、モニタ・ディスプレイ２５上にＯＳＤ表示される設定画面の１つとして、検出された被写体の検出顔を示す検出枠や、笑顔検出対象に設定された被写体を識別するためのアイコン、笑顔検出中であることを示すアイコンなどが含まれる（図１２を参照のこと）。

また、モニタ・ディスプレイ２５の表面にはタッチセンサが重畳されており、タッチパネルを兼ねている。タッチパネルが認識する座標と表示パネルに表示する座標は同一である。したがって、撮影者は、モニタ・ディスプレイの表示画面上で、笑顔の検出対象となる被写体や、その他のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品などを直接指定することができる。

メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。

また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。

ＣＰＵ２９は、解像度変換部１８により解像度変換した後の画像（スルー画像）を用いて被写体の笑顔検出処理を行なう。また、ＣＰＵ２９は、モニタ・ディスプレイ２５上にＯＳＤ表示するためのＧＵＩ処理を行なう。このＧＵＩ処理には、撮影者が任意に笑顔検出対象として指定した被写体を識別するための検出枠の表示と、笑顔の検出対象となる被写体と非対象となる被写体とを区別して検出枠を表示すること（図１２を参照のこと）が含まれる。

ＵＩ部２８は、ユーザが指示入力を行なうための操作機能や、スピーカやＬＥＤランプなどの出力機能を備えている。操作機能として、例えば、シャッタ・キー・ボタンやフラッシュ発光のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。

本実施形態では、デジタルスチルカメラは複数の撮影モードを持ち、撮影モードに応じて、シャッター・キー操作が示す指示内容が異なる。通常の撮影モードでは、シャッター・キーの半押しは画像内の被写体のフォーカスやアイリス制御の指示、シャッター・キーの深押しはカメラ撮影処理の指示を意味する。一方、笑顔検出撮影モードでは、シャッター・キーの深押しによって被写体の笑顔検出が開始され、笑顔検出に応じてカメラ撮影処理が起動する。

また、ＵＩ部２８は、出力機能を用いて、アラームなどの音声出力や、ＬＥＤの点灯又は点滅によって、カメラ・ワークなどに関する情報をユーザにフィードバックすることができる。フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。

このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。そして、メラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。

図２には、カメラ画像（スルー画像）をモニタ・ディスプレイ２５上に表示する際のデータフローを模式的に示している。

被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、パネルに表示するための画像の解像度変換がさらに行なわれ、その結果作成された画像がモニタ・ディスプレイ２５上に表示される。このような画像出力処理の制御は、制御部２７内のＣＰＵ２９が所定のプログラム・コードを実行するという形態で実現される。実際には、制御の分担が細かく分かれているが、本発明の要旨に直接関連しないので、ここでは詳細な説明を省略する。

また、図３には、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示している。

スルー画像表示の場合と同様に、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれる。

ＵＩ部２８を介したユーザ操作などで制御部２７に画像の記録が指示されると、カメラ信号処理部１７からの画像データは、解像度変換部１８によって撮影用の画像サイズに解像度変換され、さらに画像コーデック処理部１９に供給され、所定の圧縮符号化処理が施される。そして、メモリ制御部２０を通じてメモリ装置２４に保存され、あるいはメディア制御部２２を通じて記録メディア２６に保存される。

静止画像の記録の際には、カメラ信号処理部１７からは１フレーム分の画像データが画像コーデック処理部１９に供給される。また、動画像の記録の際には、処理された画像データが画像コーデック処理部１９に連続的に供給される。

通常の撮影モード下では、シャッター・キーの半押しに応じて画像内の被写体のフォーカスやアイリス制御（すなわち、スキャン動作）が実施され、シャッター・キーの深押しに応じてカメラ撮影処理（すなわち画像のキャプチャ動作）が実施される。

図４Ａには、シャッター・キーの半押しによって行なわれるスキャン動作の処理手順をフローチャートの形式で示している。また、図４Ｂには、シャッター・キーの深押しによって行なわれるキャプチャ動作の処理手順をフローチャートの形式で示している。

ＵＩ部２８内のシャッター・キーが半押しされると、そのキー情報がＣＰＵ２９に通知される（ステップＳ１）。

ＣＰＵ２９は、シャッター・キーの半押しに応じて、ＡＦＥ部１２とカメラＤＳＰ処理部１６に対して撮影処理を指示する。また、ＣＰＵ２９は、ドライバ１０ａに対して、光学系で集光して被写体像が撮像素子の撮像面で結像するようにフォーカスを合わせる制御を行なうとともに、被写体に対して適正な露光を行なうようにアイリスに対する制御など、被写体に対するスキャン動作を行なう。なお、フォーカスやアイリスの制御自体は従来技術を適用することができるので、本明細書では詳細な説明を省略する。

一方、被写体をモニタ・ディスプレイ２５上に表示させている状態で、ユーザがＵＩ部２８中のシャッター・キーの深押しを行なうと（ステップＳ１１）、ＵＩ部２８はキー検出して、キー情報の信号をＣＰＵ２９に送る。これに応答して、ＣＰＵ２９は、ドライバ１０ａに制御信号を出力し、撮影処理を実行する（スステップＳ１２）。ここでは、図２と同様のデータフローに従って、光学系１０より入力されるカメラ画像をモニタ・ディスプレイ２５上に表示させる。

ドライバ１０ａを通じて撮影処理の指示が行なわれると、上記と同様に、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、撮影モードに応じた画像サイズとなるように解像度変換がさらに行なわれる（ステップＳ１３）。その後、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ１４）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ１５）。

なお、上記の説明では、ユーザがシャッター・キーの半押しと深押しの２段階操作を行なう場合について説明したが、ユーザ（撮影者）が一気にシャッター・キーを深押ししたときには、フォーカス及びアイリス制御を含む半押し時と同様のスキャン動作を行なった後にキャプチャ動作が行なわれる。

また、本実施形態に係るデジタルスチルカメラ１は、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決める笑顔検出自動撮影機能を適用することができる。笑顔認識は、ＣＰＵ２９において所定の画像認識処理プログラムを実行するか、又は、制御部２７内に画像認識処理用のエンジン（図示しない）を搭載することによって実現可能である。

また、デジタルスチルカメラ１は、カメラが撮影処理を実施する際に、ＵＩ部２８の出力機能を用いて、アラーム音の発生やランプの点灯若しくは点滅といったＵＩ部２８からの外部出力によって撮影するタイミングを被写体に通知するようにしてもよい。

また、撮影画像中に複数の被写体が存在する場合には、いずれの被写体を笑顔検出の対象にすべきかをシステム側で自動的に決定するようにしても、あるいは、ユーザ（撮影者など）のマニュアル操作に従って決定するようにしてもよい。

ここで、撮影を行なう際には、フォーカスやアイリスを被写体に合わせておく必要がある。被写体の笑顔を認識して撮影を行なう笑顔検出自動撮影機能では、笑顔検出した後にフォーカスやアイリスを被写体に追従させるスキャン動作を行なってから撮影を行なうことになる。すなわち、笑顔検出後に、通常のオート・フォーカス機能により１枚の撮影を行なうときと同じだけの時間がかかる。

ところが、人間の笑顔の持続時間は一般に０．１秒程度しかないのに対し、フォーカスやアイリスのスキャン動作は最速でも０．２〜０．３秒程度の時間を要し、全体の撮影時間のほとんどを支配する。このため、せっかく被写体画像から笑顔を検出できたにもかかわらず、スキャン動作に伴う遅延のために、実際に撮影される顔は笑顔でないことが多くなってしまう。

そこで、本実施形態に係るデジタルスチルカメラ１では、事前にフォーカス並びにアイリスを固定しておき、撮影画像から被写体の笑顔を検出したときにはスキャン動作を改めて起動することなく、直ちにキャプチャ動作を開始するようにするようにしている。すなわち、あらかじめフォーカスやアイリスを固定しておくので、笑顔を検出してからキャプチャ動作を行なうまでに、スキャン動作に伴う０．２〜０．３秒程度の時間を省略することができるので、被写体の笑顔を逃すことなく撮影できるようにしている。

具体的には、笑顔検出撮影モード下では、まず図４Ａに示した処理手順と同様に、シャッター・キーの半押しにより被写体のフォーカス合わせとアイリス制御などのスキャン動作を行なうと、フォーカス及びアイリスを固定しておく。そして、シャッター・キーの深押しが行なわれると、撮影画像中の被写体の笑顔検出処理が起動して、笑顔が検出されるまでキャプチャ処理を待機する。そして、笑顔が検出されると、スキャン動作を省略して、撮影画像を記録するためのキャプチャ処理が直ちに行なわれる。

図５には、笑顔検出撮影モード下でのデジタルスチルカメラ１の状態遷移図を示している。図示のように、笑顔検出撮影モード下では「モニタリング」、「フォーカス／アイリス固定」、「笑顔検出撮影」という３つの状態を持つ。

まず、モニタリング状態では、ユーザ（撮影者）は、図２に示したデータフローに従ってモニタ・ディスプレイ２５上に表示されるカメラ画像を通じて、撮りたい被写体や画角の設定を行なう。

このモニタリング状態でシャッター・キーの半押しを行なうと、カメラ画像内の被写体のフォーカスやアイリス制御（すなわち、スキャン動作）が実施される。そして、フォーカス／アイリス固定状態に移行して、フォーカス並びにアイリスを固定しておく。

このフォーカス／アイリス固定状態で再びシャッター・キーの半押しを行なうと、フォーカス／アイリスの固定状態が解除され、モニタリング状態に復帰する。

また、フォーカス／アイリス固定状態でさらにシャッター・キーの深押し操作が行なわれると、笑顔検出撮影状態に移行する。そして、フォーカス及びアイリスを固定したままで、撮影画像中の被写体の笑顔検出処理（後述）を行ないながら、キャプチャ処理を待機する。そして、笑顔が検出されると撮影画像を記録するためのキャプチャ処理が行なわれる。

笑顔検出撮影状態では、基本的にはフォーカス・アイリスを固定したままであり、この状態が解除されるまでの間は、被写体の笑顔が検出される度に逐次（すなわち何度でも）キャプチャ処理が行なわれる。

また、笑顔検出撮影状態で再びシャッター・キーの深押し操作が行なわれると、当該状態が解除されて、モニタリング状態に復帰する。

なお、笑顔検出撮影状態では、被写体の笑顔が検出される度に逐次キャプチャ処理を行なうのではなく、最初に被写体の笑顔が検出されたときに１回だけキャプチャ処理を行なうようにしてもよい。但し、デジタルスチルカメラにおいては、撮影に伴ってフィルムなどの資源の消費を伴わないことから、被写体の笑顔検出に応じて何回でもキャプチャすることで、ユーザは複数の笑顔撮影画像の中からからベストショットを選び易くなるというメリットがある。

図６には、モニタ・ディスプレイ２５の表示画面（スルー画像）を通じた笑顔検出撮影モード下での動作手順を示している。

図２に示したデータフローに従ってモニタ・ディスプレイ２５上に表示されるカメラ画像は制御部２７にも送られ、顔検出処理が行なわれる。被写体の検出顔には枠が表示され、また、フォーカスやアイリス制御の対象若しくは笑顔検出の対象となった主要被写体の検出顔の枠には、そのことを示すアイコンが表示される（図１２を参照のこと）。図６（ａ）に示した例では、ただ一人の被写体しか存在しないので、当該被写体の検出顔に枠とアイコンが付される。

ここで、シャッター・キーが半押しされると、カメラ画像内の被写体のフォーカスやアイリス制御（すなわち、スキャン動作）が実施される（図６（ｂ））。そして、スキャン動作に成功すると、フォーカス並びにアイリスを固定しておく（図６（ｃ））。

ここで、フォーカス並びにアイリスを固定した状態で再びシャッター・キーの半押しを行なうと、フォーカス／アイリスの固定状態が解除され、モニタリング状態に復帰する（図６（ａ））。

一方、フォーカス並びにアイリスを固定した状態でさらにシャッター・キーの深押し操作が行なわれると、笑顔検出撮影状態に移行する。そして、フォーカス及びアイリスを固定したままで、撮影画像中の被写体の笑顔検出処理（後述）を行ない、笑顔が検出される度に撮影画像を記録するためのキャプチャ処理が行なわれる（図６（ｄ）〜（ｆ））。モニタ画面上では、笑顔検出中であることを示すアイコンを示すようにしてもよい。

また、笑顔検出撮影モード下でシャッター・キーの深押しが再び行なわれると、笑顔検出撮影状態を抜けて、モニタリング状態に復帰する（図６（ａ））。

図７には、図５に示した状態遷移図の笑顔検出状態においてデジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうための処理手順をフローチャートの形式で示している。

まず、図２と同様のデータフローに従って、光学系１０より入力されるカメラ画像（スルー画像）をモニタ・ディスプレイ２５上に表示させる（ステップＳ２１）。

このとき、表示される画像は、制御部２７内にも供給される。この時点で、制御部２７は、画像内の被写体の顔検出と笑顔検出となる検出顔の選定を行なっているものとする。例えば、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」（第１０回画像センシングシンポジウム（ＳＳＩＩ ２００４））に記載されている顔検出処理アルゴリズムを適用することができる。

次いで、所定の画像認識処理プログラムを実行するＣＰＵ２９（若しくは、図示しない画像認識エンジン）は、画面内で指定された被写体についての笑顔パターンの検出処理を行なう（ステップＳ２２）。笑顔検出処理の詳細については後述に譲る。

そして、カメラ撮影処理が起動する（ステップＳ２３）。具体的には、ＣＰＵ２９がドライバ１０ａを通じて撮影処理の指示を行ない、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれる。

但し、フォーカス並びにアイリスは既に固定状態となっているので、全体の撮影時間を支配するスキャン動作を省略して、上記のカメラ撮影処理が開始される。

次いで、解像度変換部１８によって撮影モードに応じた画像サイズに変換され（ステップＳ２４）、さらに、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ２５）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ２６）。

図７に示したフローチャートのステップＳ２２で実行される被写体の笑顔検出処理は、例えば、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」（第１０回画像センシングシンポジウム（ＳＳＩＩ ２００４））に記載されている顔検出処理方法を適用することができる。笑顔検出処理にも同じ処理アルゴリズムを適用することができるが（前述）、この場合は参照する画像の辞書が相違する。但し、本発明の要旨は特定の顔検出処理に限定されるものではない。

図８には、ステップＳ２２で実行される被写体の笑顔検出処理の手順をフローチャートの形式で示している。

まず、解像度変換部１８により撮影モードに応じた解像度に変換された画像を取得する（ステップＳ３１）。

次いで、この撮影画像から笑顔の特徴解析を行ない（ステップＳ３２）、画像辞書との比較を行なう（ステップＳ３３）。

そして、解像度変換後の画像と辞書画像で笑顔パターンの乖離度を比較し（ステップＳ３４）、乖離度が所定の閾値以内に収まったときに笑顔が検出された旨の値を返す（ステップＳ３５）。

上述したように、本実施形態に係るデジタルスチルカメラ１は、笑顔検出撮影モード下では、フォーカス並びにアイリスを固定状態にすることで、撮影画像から被写体の笑顔が検出されると、全体の撮影時間を支配するスキャン動作を省略して、笑顔を逃すことなく速やかにキャプチャ動作を行なうことができる。

しかしながら、このような自動撮影方法は、被写体がずっと動かないことを前提としており、動く可能性のある被写体の場合は最初に固定したのと違う地点で撮影が行なわれる可能性があり、結果的に撮影画像のフォーカスが合っていない可能性がある。

例えば図５に示した状態遷移図において、「フォーカス／アイリス固定」状態においてシャッター・キーの深押しを行なって「笑顔検出撮影」状態に入ってから、被写体が動いたために検出顔を見失う、あるいは被写体から笑顔がなかなか検出されないなど、速やかに笑顔検出撮影が行なわれないときには、固定しておいたフォーカスやアイリスがもはや有効でないことが推測される。

このため、フォーカスやアイリスのリフレッシュすなわち再スキャン動作を適宜的に実施することが好ましいと考えられる。

例えば、図９に示すように、笑顔検出撮影状態において、撮影画像から笑顔検出の対象となっている検出顔を一旦見失ったときには、その後に再び検出対象の被写体を検出できたときに再スキャン動作を起動して、新しいフォーカス並びにアイリスに改めて固定する。

また、図１０に示すように、笑顔検出撮影状態において、撮影画像から笑顔検出の対象となっている検出顔から所定時間以上笑顔を検出できなかったときには、再スキャン動作を起動して、新しいフォーカス並びにアイリスに改めて固定する。あるいは、笑顔検出撮影状態では定期的にフォーカス並びにアイリスをリフレッシュするようにしてもよい。

図１１には、笑顔検出撮影状態において再スキャンを行なうための処理手順をフロー形式で示している。但し、同フローはＰＡＤ（Ｐｒｏｂｌｅｍ Ａｎａｌｙｓｉｓ Ｄｉａｇｒａｍ）と呼ばれる、ＪＩＳフローチャートとは異なるプログラム用チャート記法でアルゴリズムの構造を示している。アルゴリズムは本質的に、連接、反復、選択の３つの基本単位の合成として表現することができ、ＰＡＤはこの３種類を基本単位とした記述方式を採っている。

タイマ値を０に初期化してから（Ｐ１）、笑顔検出撮影状態に移行する（Ｌ１）。

ここで、所定の制御周期毎に、撮影画像から笑顔検出の対象となっている被写体の検出顔を検出できたかどうかをチェックする（Ｃ１１）。そして、顔検出できなかったときにはタイマ値を０にリセットする（Ｐ２２）。

また、顔検出できたらタイマ値を１ずつインクリメントする（Ｐ２１）。そして、１周期前に被写体の顔を検出できたかどうかをチェックする（Ｃ３１）。

１周期前に被写体の顔を検出できていたときには、タイマ値が所定値を超えていないかどうかをチェックする（Ｃ４１）。ここで、タイマ値が所定値を超えているときには（図１０を参照のこと）、フォーカス並びにアイリスの再スキャン動作を行なう（Ｐ５１）。

また、１周期前に被写体の顔を検出できなかったときには、撮影画像から笑顔検出の対象となっている検出顔を一旦見失い、その後に再び検出対象の被写体を検出できたことになるので（図９を参照のこと）、フォーカス並びにアイリスの再スキャン動作を行なう（Ｐ４１）。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、あるいはその他のカメラ機能を備えたさまざまな情報機器に対して本発明を同様に適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示した図である。 図２は、カメラ画像をモニタ・ディスプレイ２５上にスルー表示する際のデータフローを模式的に示した図である。 図３は、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示した図である。 図４Ａは、デジタルスチルカメラ１が画像撮影する際のスキャン動作の処理手順を示したフローチャートである。 図４Ｂは、デジタルスチルカメラ１が画像撮影する際のキャプチャ動作の処理手順を示したフローチャートである。 図５は、笑顔検出撮影モード下でのデジタルスチルカメラ１の状態遷移図を示した図である。 図６は、モニタ・ディスプレイ２５の表示画面を通じて笑顔検出撮影モード下での動作手順を示した図である。 図７は、笑顔検出状態においてデジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうための処理手順を示したフローチャートである。 図８は、ステップＳ２２で実行される被写体の笑顔検出処理の手順を示したフローチャートである。 図９は、笑顔検出撮影状態において、撮影画像から笑顔検出の対象となっている検出顔を一旦見失い、その後に再び検出対象の被写体を検出できたときに再スキャン動作を起動する様子を示した図である。 図１０は、笑顔検出撮影状態において、撮影画像から笑顔検出の対象となっている検出顔から所定時間以上笑顔を検出できなかったときに再スキャン動作を起動する様子を示した図である。 図１１は、笑顔検出撮影状態において再スキャンを行なうための処理手順をＰＡＤ形式で示した図である。 図１２は、モニタ・ディスプレイ２５上に表示されるスルー画像及びＯＳＤ表示情報を説明するための図である。

符号の説明

１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…ＵＩ部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部

Claims (15)

1. 被写体からの光を集光する光学手段と、
   前記光学手段が集光した被写体画像を撮像する撮像手段と、
   前記光学手段の各機構の駆動を制御する駆動制御手段と、
   前記撮像手段が撮像した画像を信号処理する画像信号処理手段と、
   信号処理された前記画像を所定の記憶媒体に記憶させる記憶手段と、
   信号処理された前記画像から被写体の顔と笑顔を検出する検出手段と、
   前記被写体の笑顔を検出したことに応じて、前記駆動制御手段による前記光学手段の各機構の駆動を固定したままで、画像の撮影処理を行なう撮影制御手段と、
   を備え、
   前記駆動制御手段は、前記光学手段の各機構の駆動を固定したままで画像から被写体の笑顔を検出するまで撮影処理を待機する待機状態において、前記検出手段が画像から見失ってから前記顔検出手段が再び該被写体の顔を検出したときに、前記光学手段の各機構の駆動を制御し、改めて前記光学手段の各機構の駆動を固定させる、
   画像撮影装置。
2. 被写体からの光を集光する光学手段と、
   前記光学手段が集光した被写体画像を撮像する撮像手段と、
   前記光学手段の各機構の駆動を制御する駆動制御手段と、
   前記撮像手段が撮像した画像を信号処理する画像信号処理手段と、
   信号処理された前記画像を所定の記憶媒体に記憶させる記憶手段と、
   信号処理された前記画像から被写体の顔と笑顔を検出する検出手段と、
   前記被写体の笑顔を検出したことに応じて、前記駆動制御手段による前記光学手段の各機構の駆動を固定したままで、画像の撮影処理を行なう撮影制御手段と、
   を備え、
   前記駆動制御手段は、前記光学手段の各機構の駆動を固定したままで撮影画像から被写体の笑顔を検出するまで撮影処理を待機する待機状態において、前記検出手段が画像から被写体の笑顔を検出しなくなってから所定時間が経過したときに、前記光学手段の各機構の駆動を制御し、改めて前記光学手段の各機構の駆動を固定させる、
   画像撮影装置。
3. 前記駆動制御手段は、前記光学手段で集光して被写体像が前記撮像手段の撮像面で結像するようにフォーカスを合わせる制御、又は被写体に対して適正な露光を行なうようにアイリスに対する制御のうち少なくとも一方を行なう、
   請求項１又は２のいずれかに記載の画像撮影装置。
4. 撮影者が撮影動作に関するシャッター・キーを備え、
   前記撮影制御手段は、
   前記シャッター・キーの半押しが行なわれたことに応じて、前記駆動制御手段による前記光学手段の各機構の駆動の制御を行なわせた後、前記光学手段の各機構の駆動を固定し、
   前記シャッター・キーの深押しが行なわれたことに応じて、前記駆動制御手段による前記光学手段の各機構の駆動を固定したままで、撮影画像から被写体の笑顔を検出するまで撮影処理を待機する、
   請求項１又は２のいずれかに記載の画像撮影装置。
5. 前記撮影制御手段は、撮影画像から被写体の顔から笑顔を検出する度に、前記駆動制御手段による前記光学手段の各機構の駆動を固定したままで被写体画像の撮影処理を行なう、
   請求項４に記載の画像撮影装置。
6. 前記撮影制御手段は、前記駆動制御手段による前記光学手段の各機構の駆動が固定された状態で、前記シャッター・キーの半押しが再び行なわれたことに応じて、該固定された状態を解除する、
   請求項４に記載の画像撮影装置。
7. 前記撮影制御手段は、前記シャッター・キーの深押しが再び行なわれたことに応じて、前記駆動制御手段による前記光学手段の各機構の駆動を固定したままで撮影画像から被写体の笑顔を検出するまで撮影処理を待機する待機状態を解除する、
   請求項４に記載の画像撮影装置。
8. 光学系で集光して被写体像が撮像面で結像するようにフォーカスを合わせる制御、並びに被写体に対して適正な露光を行なうようにアイリスに対する制御を行なうスキャン動作ステップと、
   前記スキャン動作ステップによるフォーカス並びアイリスの制御を固定するフォーカス／アイリス固定ステップと、
   撮影画像から前記被写体の顔と笑顔を検出する検出ステップと、
   前記被写体の笑顔を検出したことに応じて、前記のフォーカス並びアイリスの制御を固定したままで所定の記憶媒体に撮影画像を記録するためのキャプチャ動作を行なう笑顔検出撮影ステップと、
   を有し、
   前記笑顔検出撮影ステップでは、前記のフォーカス並びアイリスの制御を固定したままで撮影画像から被写体の笑顔を検出するまで前記キャプチャ動作を待機する待機状態において、笑顔検出の対象となっている被写体の顔を撮影画像から見失ってから前記顔検出ステップにより再び該被写体の顔を検出したときに、前記スキャン動作ステップを再度実施して、前記フォーカス／アイリス固定ステップによりフォーカス並びアイリスの制御を改めて固定する、
   画像撮影方法。
9. 光学系で集光して被写体像が撮像面で結像するようにフォーカスを合わせる制御、並びに被写体に対して適正な露光を行なうようにアイリスに対する制御を行なうスキャン動作ステップと、
   前記スキャン動作ステップによるフォーカス並びアイリスの制御を固定するフォーカス／アイリス固定ステップと、
   撮影画像から前記被写体の顔と笑顔を検出する検出ステップと、
   前記被写体の笑顔を検出したことに応じて、前記のフォーカス並びアイリスの制御を固定したままで所定の記憶媒体に撮影画像を記録するためのキャプチャ動作を行なう笑顔検出撮影ステップと、
   を有し、
   前記笑顔検出撮影ステップでは、前記のフォーカス並びアイリスの制御を固定したままで撮影画像から被写体の笑顔を検出するまで前記キャプチャ動作を待機する待機状態において、笑顔検出の対象となっている被写体の顔から笑顔を検出しなくなってから所定時間が経過したときに、前記スキャン動作ステップを再度実施して、前記フォーカス／アイリス固定ステップによりフォーカス並びアイリスの制御を改めて固定する、
   画像撮影方法。
10. 撮影者からシャッター・キーを介して撮影動作に関する操作が入力され、
    前記シャッター・キーの半押しが行なわれたことに応じて、前記スキャン動作ステップを実施した後、前記フォーカス／アイリス固定ステップによりフォーカス並びアイリスの制御を固定し、半押しの状態が継続している限り固定の状態を維持し、
    前記シャッター・キーの深押しが行なわれたことに応じて、前記笑顔検出撮影ステップにおいて、前記のフォーカス並びアイリスの制御を固定したままで撮影画像から被写体の笑顔を検出するまで前記キャプチャ動作を待機する、
    請求項８又は９のいずれかに記載の画像撮影方法。
11. 前記笑顔検出撮影ステップでは、撮影画像から被写体の顔から笑顔を検出する度に、キャプチャ動作を実施する、
    請求項１０に記載の画像撮影方法。
12. 前記フォーカス／アイリス固定ステップによりフォーカス並びアイリスの制御を固定した状態において、前記シャッター・キーの半押し状態が解除されたことに応じて、該固定された状態を解除する、
    請求項１０に記載の画像撮影方法。
13. 前記笑顔検出撮影ステップでは、前記シャッター・キーの深押しが再び行なわれたことに応じて、前記のフォーカス並びアイリスの制御を固定したままで撮影画像から被写体の笑顔を検出するまで前記キャプチャ動作を待機する待機状態を解除する、
    請求項１０に記載の画像撮影方法。
14. 被写体画像の撮影を行なう画像撮影処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
    光学系で集光して被写体像が撮像面で結像するようにフォーカスを合わせる制御、並びに被写体に対して適正な露光を行なうようにアイリスに対する制御を行なうスキャン動作手順と、
    前記スキャン動作手順によるフォーカス並びアイリスの制御を固定するフォーカス／アイリス固定手順と、
    撮影画像から前記被写体の顔と笑顔を検出する検出手順と、
    前記被写体の笑顔を検出したことに応じて、前記のフォーカス並びアイリスの制御を固定したままで所定の記憶媒体に撮影画像を記録するためのキャプチャ動作を行なう笑顔検出撮影手順と、
    を実行させ、
    前記笑顔検出撮影手順では、前記のフォーカス並びアイリスの制御を固定したままで撮影画像から被写体の笑顔を検出するまで前記キャプチャ動作を待機する待機状態において、笑顔検出の対象となっている被写体の顔を撮影画像から見失ってから前記顔検出手順により再び該被写体の顔を検出したときに、前記スキャン動作ステップを再度実施して、前記フォーカス／アイリス固定手順によりフォーカス並びアイリスの制御を改めて固定する、
    コンピュータ・プログラム。
15. 被写体画像の撮影を行なう画像撮影処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
    光学系で集光して被写体像が撮像面で結像するようにフォーカスを合わせる制御、並びに被写体に対して適正な露光を行なうようにアイリスに対する制御を行なうスキャン動作手順と、
    前記スキャン動作手順によるフォーカス並びアイリスの制御を固定するフォーカス／アイリス固定手順と、
    撮影画像から前記被写体の顔と笑顔を検出する検出手順と、
    前記被写体の笑顔を検出したことに応じて、前記のフォーカス並びアイリスの制御を固定したままで所定の記憶媒体に撮影画像を記録するためのキャプチャ動作を行なう笑顔検出撮影手順と、
    を実行させ、
    前記笑顔検出撮影手順では、前記のフォーカス並びアイリスの制御を固定したままで撮影画像から被写体の笑顔を検出するまで前記キャプチャ動作を待機する待機状態において、笑顔検出の対象となっている被写体の顔から笑顔を検出しなくなってから所定時間が経過したときに、前記スキャン動作ステップを再度実施して、前記フォーカス／アイリス固定手順によりフォーカス並びアイリスの制御を改めて固定する、
    コンピュータ・プログラム。